2021/03/07 2021/03/08

文章要約の最新DNN"PEGASUS"（AI最新論文読解 No.13）

アクセス: 371

コメント: 0

"[PEGASUS: Pre-training with Extracted Gap for Abstractive Summarization ](https://arxiv.org/pdf/1912.08777.pdf)" (ICML 2020, google research)を概説する。

テキストの要約は、自然言語処理で最も困難なタスクの1つであり、長い文章の理解、情報の圧縮、および言語の生成が含まれます。これを行うための機械学習モデルのトレーニングの主な方法はseq2seq モデルです。この学習では、ニューラルネットワークが入力シーケンスを出力シーケンスにマッピングすることを学習します。このseq2seqは、当初はRNNを使用して開発されましたが、近年は要約で使用する長いシーケンスに存在する依存関係をモデル化により効率的なTransformerのようなエンコーダー・デコーダーモデルが利用されるようになりました。
自己教師あり学習（BERT、GPT-2、RoBERTa、XLNet、ALBERT、T5、ELECTRAなど）と組み合わせたTransformerモデルは汎用的な言語学習を提供することで、様々な言語タスクにおけるファインチューニング時に最先端のパフォーマンスを実現するための強力なフレームワークであることが示されました。BERTを代表とする事前学習モデルではMLM(Masked Language Model)と呼ばれる学習方式を使っています。MLMは文章中の一部の単語をマスキングし、残りの単語の入力から、マスキングされた単語の予測モデルを作ることで、文章中の該当単語のコンテキストの抽出が可能になりました。
![](https://aihack.aijobcolle.com/p/ran867bj2so2ipjfwejn-b85f0412.png)

既往研究では、事前学習で利用される自己教師あり学習の目的は汎用性を重視するため下流サイドの応用タスクにはいくらかアゴニスティックでしたが、自己学習が最終的なタスクをより厳密に反映させた場合より良いパフォーマンスを達成できるのではないか、つまり、事前学習で学習されるべき対象は下流の応用タスクに近いほど良い性能を出せるのではないか、ということが仮説になります。よって、文章要約は長い文章を短い文章で情報の漏れがなく簡潔にまとめるタスクであって入力も出力も文であることから、事前学習の予測の対象として、単語より「文」（gap sentence）にした方が良い、ということになります。また、MLMは入力文章からランダムに選ばれたトークンを予測する学習方式ですが、文章要約は入力文章の中で「重要な部分」を選択してマスクした方が、より一貫性のある文章を生成することになります。

「PEGASUS: Pre-training with Extracted Gap for Abstractive Summarization 」（ICML, 2020）では、自己教師ありの事前学習（ギャップセンテンス生成と呼ばれる）が設計され、Transformerエンコーダー・デコーダーモデルにより、文章要約のファインチューニングのパフォーマンスを向上させ、12の多様な要約データセットでState of the artsを実現し、その内、6のベンチマークでは、1000程度のデータで既存の最高性能を誇るモデルを超えた性能を発揮しました。
<br />
**要約のための教師あり自己学習の目的**
論文における仮説は、事前自己教師あり学習の目的が最終的なダウンストリームタスクに近いほど、ファインチューニングのパフォーマンスが向上するというものです。 PEGASUSの事前学習では、いくつかの文全体がドキュメントから削除され、モデルはそれらをリカバーするタスクを実行します。事前学習の入力例は、欠落している文を含むドキュメントですが、出力は、欠落している文を連結して構成されています。これは非常に困難な作業であり、人でさえ不可能のように思えるかもしれませんし、モデルがそれを完全に解決することは期待されていません。しかし、このようなチャレンジングなタスクは、ファインチューニングの要約タスクに似た出力を生成するためにドキュメント全体から取得した情報を抽出する方法と同様、モデルが言語と世界に関する一般的な事実を学習することが求められます。また、この自己学習の利点は、人間による注釈なしで、ドキュメントの数だけ例を作成できることです。これは、純粋な教師あり学習システムのボトルネックになることがよくあるからです。

![](https://aihack.aijobcolle.com/p/mjdtxe4crtz2c9ido89t-12089d4d.gif)
上図は事前学習中のPEGASUSの自己教師ありの例で、モデルは、マスクされたすべての文を出力するようにトレーニングされています。
<br />
マスクする「重要な」文を選択したとき、自己生成されたサンプルの出力が人による要約により類似していて、最も効果的であることがわかりました。 [ROUGE](https://www.aclweb.org/anthology/W04-1013/)と呼ばれる、どれだけ文章を適切に要約できているかを評価するためのメトリックに従って、ドキュメントの残りの部分に最も類似している文を見つけることにより、これらの文を自動的に識別しました。 ROUGEは、0〜100のスコアを使用してn-gramオーバーラップを計算することにより、2つのテキストの類似性を計算します（ROUGE-1、ROUGE-2、およびROUGE-Lは3つの一般的なバリアントです）。

![](https://aihack.aijobcolle.com/p/tckawk8k4gi4tsu5dz56-52416c81.png)
S:選択された文の集合
xi:計算対象文
D:全体文の集合

T5などの他の最近の方法と同様に、Webでクロールされたドキュメントの非常に大きなコーパスでモデルを事前学習し、次に12のパブリックなアブストラクト要約データセットでモデルをファインチューニングして、T5のパラメーター数の5％のみを使用し、オートマティックメトリックによって測定された新しいSOTAを実現しました。データセットは、ニュース記事、科学論文、特許、短編小説、電子メール、法的文書、ハウツー指示など、多様になるように選択され、それはモデルフレームワークがさまざまなトピックに適応できることを示しています。

**モデル図**
![](https://aihack.aijobcolle.com/p/rmei7nw45nzs59jf5iyy-3ae1e542.png)
PEGASUSモデルのベースアーキテクチャーは上のようになります。左側でMLM、右側でGSGという２つの学習方式を同時に実行する。（MLMを検証段階では導入していましたが、検証ののちにMLMは性能向上に寄与しないと結論づけられ、最終的にMLMは利用されていない）
**学習の方法**
MASKする文章を決める方法は、3方式で6種類（Random, Lead, Ind-Uniq, Principal の(Ind-Orig, Seq-Uniq, Seq-Orig)）提案され、それぞれ検証しています
![](https://aihack.aijobcolle.com/p/gz8befj8uoa2b583svvf-c8b30098.png)
文の例（C4コーパスから）Random、Lead、Ind-Origによってそれぞれ選択されたもの
Random:文章のランダムなm個の文を選択
Lead:文章の最初からm個の文を選択
Principal - ind:入力文書から１つの文とそれ以外全ての文の間で求めてROUGEスコアが高いものから選択
Principal - seq:入力文章のからこれまでに選択された文＋１つの文とそれら以外の全ての間でROUGEスコアが大きいものから順に文を選択
Unique:ROUGEで重複する部分があったときそれらを１つとする方法
Orig:〃とき複数とする方法

**学習データ**
![](https://aihack.aijobcolle.com/p/txuoyswxiauexg47pzsv-a104f1bb.png)
学習ではC4(３億5000万件のweb pageからなるデータ）と HugeNews（15億件のニュース文章からなるデータ）を使っています。その結果、C4の場合、同じウェブページデータであるWikiHow、RedditTIFUの方が良い性能を、HugeNewsの場合、同じニュース文章であるCNN、XSumが良い性能を出していることから、事前学習で使われるデータとアプリタスクで使われるデータが似たドメインの場合より良いモデル性能が出ることが分かります。

**結果**
![](https://aihack.aijobcolle.com/p/kt4c5a75pvz3fpjb4zje-d66077c8.png)
・MLMによる性能向上はほぼ見られないこと
・前述のGSG方式のうち、Ind/Orig方式が高い性能であること

**精度比較**
![](https://aihack.aijobcolle.com/p/pvb4tn3vf4tcpiy9d2ek-bc1fe651.jpg)
12のベンチマーク全てにおいて、PEGASUSがSOTAになる結果

**少数のサンプルによるファインチューニング**
PEGASUSは大規模なデータセットで優れたパフォーマンスを示しましたが、SOTAに近いパフォーマンスにファインチューニングするために多数のサンプルを必要としないことが判明。12のベンチマークのうち実に6つのベンチマークにおいて、たった1000個のデータを学習させた段階で既存の最高性能を超えています。

![](https://aihack.aijobcolle.com/p/7i8tfg83zs554xrxgwgo-75d4cdf1.jpg)

点線は、完全な自己学習が行われているが、事前学習が行われていないTransformerエンコーダー・デコーダーのパフォーマンスを示しています。たった1000のファインチューニングのサンプルで、完全な自己学習データを使用する強力なベースライン（Transformerエンコーダーデコーダー）よりもほとんどのタスクで優れたパフォーマンスを発揮できました。この「サンプル効率」は、教師ありデータ収集の規模とコストを大幅に削減するため、テキスト要約モデルの有用性を大幅に向上させます。

**まとめ**
事前学習に用いる学習方式が下流のアプリタスクの学習と似ているほど、より少ないサンプルで高い精度を発揮するモデルを実現した

文章要約の最新DNN"PEGASUS"（AI最新論文読解 No.13）

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

噂のNotionですっきり、A…

PyTorchの躍進を紐解く３…

深層学習はシステム1から…

いいね！ランキング

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

深層学習はシステム1からシステム2へ

自己教師あり可逆性対応の強化学習（AIの…

深層強化学習によるチップ設計の自動化（A…

ユーザーランキング

タグランキング

深層学習

ディープラーニング

AI

deeplearning

Transformer