2021/02/07 2021/02/08

自然言語処理（NLP）転移学習の最新モデル”T5”（AI最新論文読解 No.10）

アクセス: 1710

コメント: 0

Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (Google Research, Journal of Machine Learning Research 21, 2020.7)を読解する。
 
過去数年、転移学習は自然言語処理（NLP）における最先端の結果の新しい波をもたらしました。転移学習の効果は、言語モデリングや不足している単語の入力などの自己学習タスクを使用して、豊富に利用可能なラベルなしテキストデータでモデルを事前トレーニングすることから得られます。その後、モデルを小さなラベル付きデータセットでファインチューニングできるため、ラベル付きデータのみでトレーニングするよりも、はるかにパフォーマンスが向上することがよくあります。転移学習の最近の成果は、2018年にGPT、ULMFiT、ELMo、BERTによってもたらされ、2019年には、XLNet、RoBERTa、ALBERT、Reformer、MT-DNNなどの非常に多様な新しい方法が開発されました。この分野での進歩はとても早く、どの成果に最も意味があり、どの組み合わせが最も効果的であるかを評価することをとても難しい状況にあります。 
"<a href="https://arxiv.org/abs/1910.10683">Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer</a>"(2020.7, Google Research)では、大規模な調査を実施して、どの転送学習手法が最も効果的かを判断し、これらから得られたインサイトを活用し、"Text-To-Text Transfer Transformer" (T5)と呼ばれる新しいモデルを作成されました。また、Colossal Clean Crawled Corpus（C4）と呼ばれる新しいオープンソースの事前学習のためのトレーニングデータセットが公開されました。 C4で事前トレーニングされたT5モデルは、様々な重要な深層学習のタスクににファインチューニングできる柔軟性を備えながら、多くのNLPベンチマークで最先端の結果を実現しました。 共有テキスト間フレームワーク 
T5では、クラスラベルまたは入力のスパンのいずれかしか出力できないBERTスタイルのモデルとは対照的に、すべてのNLPタスクをテキストからテキストへの形式に再構成することを提案されています。T5では入力と出力は常にテキスト文字列です。。テキストからテキストに入出力するフレームワークにより、機械翻訳、ドキュメントの要約、質問応答、感情分析などの分類タスクなど、あらゆるNLPタスクで同じモデル、損失関数、ハイパーパラメーターを使用しています。数値自体ではなく数値の文字列表現を予測するようにトレーニングすることで、回帰タスクにT5を適用することもできます。 <img height="240" src="/p/wz2ywxijy2rkss4wkygg-09067c35.gif" style="width:640px;height:240px;" width="640" alt="wz2ywxijy2rkss4wkygg-09067c35.gif" />Diagram of our text-to-text framework. Every task we consider uses text as input to the model, which is trained to generate some target text. This allows us to use the same model, loss function, and hyperparameters across our diverse set of tasks including translation (green), linguistic acceptability (red), sentence similarity (yellow), and document summarization (blue). It also provides a standard testbed for the methods included in our empirical survey.

ここから、モデル構造、データセット、学習時の手法において様々なパラメータを取り上げ、精度比較を行っています。 モデル構造

まず、下図の３つモデル構造をパラメータとして検証します。 
・Encoder-Decoder は、“Attention is All You Need” で提案されたモデル 
・Language Modelは、TransformerのDecoder（= Causal masking）を使ったモデル。Language model を “Text-to-Text” で使う際の欠点は、先頭から現在位置までのトークンの並びを見て次のトークンを予測するという問題設定の為、BERT のような双方向の依存性を学習できない 
・Prefix LMは、Prefix部分のみはmaskをしませんが、Prefix以降は未来単語を見せないようにmaskをする <img height="667" src="/p/7o8md3uxsos6ojcxdnve-86bea409.jpg" style="width:920px;height:667px;" width="920" alt="7o8md3uxsos6ojcxdnve-86bea409.jpg" />

また、目的関数としてDenoisingと通常のLaguage Modelを比較し、以下のような結果になりました。 <img height="380" src="/p/2bkudv6ku4rar8uue9t2-7219a941.jpg" style="width:920px;height:380px;" width="920" alt="2bkudv6ku4rar8uue9t2-7219a941.jpg" /> 
モデルの構造＝Encoder-Decoderモデルで、目的関数＝Denoisingにしたケースが最も精度が高くなっています。Denoisingは以下の図のように、Mask Language Model のようにマスクした箇所を求めるようなイメージです。 <img height="461" src="/p/784as98zsmpzizbjd6ag-2660204f.jpg" style="width:920px;height:461px;" width="920" alt="784as98zsmpzizbjd6ag-2660204f.jpg" /> 教師なし学習の手法 
教師なし学習の手法で、目的関数についてパターンについて以下のようなものを検討しました。目的関数に対して、Inputと求めるTargetが例としてあげられています。 <img height="353" src="/p/8nu2rsfxzbf7sfeo4edw-cf83fbc9.jpg" style="width:920px;height:353px;" width="920" alt="8nu2rsfxzbf7sfeo4edw-cf83fbc9.jpg" /> 
各目的関数での精度は以下の結果になりました。 <img height="449" src="/p/pgzrxy8gdrnj2ib9wk4u-d00a9e44.jpg" style="width:920px;height:449px;" width="920" alt="pgzrxy8gdrnj2ib9wk4u-d00a9e44.jpg" /> 
mask tokensとreplace spansでは同じ穴埋めですが、ターゲットが全文か、マスクされた箇所かの違いになっています。 Corruption rate 
次に、Maskする割合を変更して、精度の結果が下記です。 <img height="234" src="/p/erf4gfew2bs4giucr3o3-80ea5c75.jpg" style="width:920px;height:234px;" width="920" alt="erf4gfew2bs4giucr3o3-80ea5c75.jpg" /> Corrupted Span Length 
また、マスクするトークン毎の平均長を変えることにより、どのように精度が変わるかを検証した結果は以下のようになり、３が最も精度が高いことが分かりました。 <img height="261" src="/p/ftavsvofbkpa7pt6h2ia-f3c612d9.jpg" style="width:920px;height:261px;" width="920" alt="ftavsvofbkpa7pt6h2ia-f3c612d9.jpg" />

まとめると以下のようになります。 <img height="452" src="/p/ovrfmu8fh49igdn98b9d-9006020a.jpg" style="width:920px;height:452px;" width="920" alt="ovrfmu8fh49igdn98b9d-9006020a.jpg" /> 大規模な事前トレーニングデータセット（C4） 
転移学習の重要な要素は、事前トレーニングに使用されるラベル無しのデータセットです。事前トレーニングの量をスケールアップする効果を正確に測定するには、高品質で多様であるだけでなく大規模なデータセットが必要です。既存の公開されている事前トレーニングデータセットは、これら3つの基準すべてを満たしていません。例えば、ウィキペディアのテキストは高品質ですが、スタイルは均一で比較的小規模です。またコモンクロールのウェブスクレイプは非常に多様ですが低品質です。 これらの要件を満たすために、ウィキペディアより2桁大きいCommonCrawlのクリーンバージョンであるColossalClean Crawled Corpus（C4）を開発しました。私たちのクリーニングプロセスには、重複排除、不完全な文の破棄、不快なコンテンツやノイズの多いコンテンツの削除が含まれていました。このフィルタリングにより、深層学習のタスクでより良い結果が得られましたが、サイズを追加することで、事前トレーニング中に過学習することなくモデルサイズを増やすことができました。 C4は、TensorFlowデータセットから利用できます。 
以下実験結果です。 <img height="281" src="/p/2mzhfduw9a9z5b7z88w7-ab8a5e3e.jpg" style="width:920px;height:281px;" width="920" alt="2mzhfduw9a9z5b7z88w7-ab8a5e3e.jpg" /> 
ここから分かることは以下の2点です。

<ul><li>データサイズが多いだけでは精度は上がらない</li>
	<li>タスクに適したのデータセットで学習した方が精度が高くなりやすい</li>
</ul>
また「データの種類の多さ」と「繰り返し学習の多さ」のどちらが精度が高いかの検証結果が以下です。

<ul><li>多様なデータで学習した方が精度は高い</li>
	<li>データセットが少ないと過学習状態になる</li>
</ul>Fine-tuning

Fine-Tuning時に、パラメータをどのぐらいチューニング対象にするか、という実験です。

<ul><li>Adapter LayersはDense + ReLU + Denseの層で構成され、他はFreezeされる</li>
	<li>Gradual unfreezingは、学習ステップ数に応じ、徐々にチューニング対象のパラメーターを増やす手法です。</li>
	<li>All Parametersはモデルの全てのパラメーターをチューニング対象とする</li>
</ul><img height="316" src="/p/oho72jkkzwuefjy3gwod-cc4049a7.jpg" style="width:920px;height:316px;" width="920" alt="oho72jkkzwuefjy3gwod-cc4049a7.jpg" /> 
上のように全パラメータのチューニングが最も精度が高いという結果になりました。 <img height="237" src="/p/eguciy9jg2oddj2g83ht-6abd9811.jpg" style="width:920px;height:237px;" width="920" alt="eguciy9jg2oddj2g83ht-6abd9811.jpg" /> 
また「事前学習+各タスクのfine-tuning」の組み合わせ（通常の方法）が精度が高いですが、タスクによっては「Multi-task pre-training + fine-tuning」（複数タスクで事前学習をおこなって、該当タスクでfine-tuningする）が上回ることがあります。 その他（Scaling） 
次に、スケーリング時の各パラメーター（パラメーター数・バッチサイズ・学習ステップ数・アンサンブル）を変更したときの精度の比較は以下になります。 <img height="354" src="/p/s5ez9294pzpix989nvmz-7211880a.jpg" style="width:920px;height:354px;" width="920" alt="s5ez9294pzpix989nvmz-7211880a.jpg" /> 転移学習方法のまとめ 
T5 のText to Text フレームワークと新しい事前トレーニングデータセット（C4）を使用して、過去数年間にNLP転移学習に導入されたアイデアと方法の広大な研究を調査されましたが、まとめとして 
・モデルアーキテクチャ 
エンコーダ−デコーダモデルは、一般にデコーダのみの言語モデルよりも優れていることがわかりました。 
・事前トレーニングの目的 
ここでは空白を埋めるスタイルのノイズ除去の目的（入力で欠落している単語を埋めるようトレーニングされるモデル）が最も効果的であり、最も重要な要素は計算コストであることが確認されました。 
・ ラベルのないデータセット 
ドメイン内データのトレーニングは有益である可能性がありますが、より小さなデータセットの事前トレーニングは過学習につながる可能性があることを示しました。  
・トレーニング戦略 
マルチタスク学習は事前トレーニングしてからファインチューニングするアプローチとほぼ競合する可能性がありますが、各タスクでモデルをトレーニングする頻度を慎重に選択する必要があります。 
・ スケール 
モデルサイズ、トレーニング時間、およびアンサンブルされたモデルの数のスケールアップを比較して、決められたコンピューティングパワーを最大限に活用する方法を決定します。 
NLPの転移学習の現在の限界を探るために、これまでの精度比較の調査結果から、パラメーターやモデル構造・事前学習に利用するデータセットなどを最適なものを決めて、各種タスクでSoTAと比較した結果が下記となります。そこでは、体系的な調査から得られたすべての最良の方法を組み合わせ、Google Cloud TPUアクセラレータを使用してアプローチをスケールアップしました。私たちの最大のモデルは110億のパラメーターを持ち、GLUE、SuperGLUE、SQuAD、およびCNN / DailyMailベンチマークで最先端を達成しました。特に注目すべき結果の1つは、機械学習モデルでは難しいが人間にとっては簡単になるように特殊に設計されたSuper GLUE 自然言語理解ベンチマークで人間に近いスコアを達成したことです。 <img height="920" src="/p/bctxnfe2ot6bk7p49m88-146576b7.jpg" style="width:674px;height:920px;" width="674" alt="bctxnfe2ot6bk7p49m88-146576b7.jpg" /> 
このときのパラメーター数は以下です。 
 T5-Base : 220million 
 T5-small : 60million 
 T5-Large : 770million 
 T5-3B : 2.8billion 
 T5-11B : 11billion 
パラメータ数とそれに伴うデータセットサイズを大きくすると精度が上がることが言えます。 さらなる拡張 
T5は十分な柔軟性を備えているため、本論文で検討した以外の多くのタスクに適用できるように簡単に変更でき、多くのケースで大きな成功を収めています。以下では、T5を2つの新しいタスクに適用します。１つめは、一冊の閉じた本におけるQA、２つめはサイズが異なるブランクへのテキスト生成、です。 
・クローズドブックにおける質問応答 
テキストからテキストへのフレームワークを使用する1つの方法は、読解の問題を行うことです。この場合、モデルには質問とともにコンテキストが与えられ、コンテキストから質問の回答を見つけるようにトレーニングされます。たとえば、ウィキペディアのハリケーンコニーに関する記事のテキストと、「ハリケーンコニーは何日に発生しましたか？」という質問をモデルにフィードすることができます。次に、モデルは、記事で「1955年8月3日」の日付を見つけるようにトレーニングされます。実際、このアプローチにより、スタンフォード質問応答データセット（SQuAD）で最先端の結果を達成しました。言い換えると、質問に答えるために、T5は、教師なし事前トレーニング中に取得したパラメーターに格納されている知識のみを使用できます。これは、オープンドメインの質問応答の制約された形式と見なすことができます。 <img height="262" src="/p/k62dg5aevhoyxd7chvth-0311049e.png" style="width:640px;height:262px;" width="640" alt="k62dg5aevhoyxd7chvth-0311049e.png" /> 
T5は驚くほどこれらのタスクに優れています。完全な110億ものパラメーターモデルは、TriviaQA、WebQuestions、およびNatural Questionsで、それぞれ50.1％、37.4％、および34.5％の回答の正確なテキストを生成します。以下のデモサイトからお試しください。 <a href="https://t5-trivia.glitch.me/">https://t5-trivia.glitch.me/ <img height="409" src="/p/jp53sorajnzr3ix6sxtf-d0458a07.gif" style="width:600px;height:409px;" width="600" alt="jp53sorajnzr3ix6sxtf-d0458a07.gif" /></a> 
・サイズが異なるブランクへのテキスト生成 
GPT-2のような大規模な言語モデルは、入力の後に次に来る単語を予測するようにトレーニングされているため、非常にリアルなテキストの生成に優れています。これにより、Talk ToTransformerやテキストベースのゲームAIDungeonなどの多数のクリエイティブアプリケーションが生まれました。T5で使用される事前トレーニングの目的は、モデルが破損したテキスト内の欠落している単語を予測する空白を埋めるタスクに非常に近いです。 「空白」はテキストの最後にも表示される可能性があるため、この目的は次文予測タスクの一般化です。

自然言語処理（NLP）転移学習の最新モデル”T5”（AI最新論文読解 No.10）

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

PyTorchの躍進を紐解く３…

勾配法と学習率

いいね！ランキング

深層学習はシステム1からシステム2へ

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

なぜZoomは40分で切れるのか？

論文要約

ユーザーランキング

タグランキング

深層学習

AI

deeplearning

ディープラーニング

Transformer