2022/06/13 2022/06/13

LaMDA: Language Models for Dialog Applications（AIの最新論文の読解、No.22）

アクセス: 360

コメント: 0

"LaMDA: Language Models for Dialog Applications"(https://arxiv.org/pdf/2201.08239.pdf)
を概説する。

LaMDAは、ダイアログに特化したTransformerベースのニューラル言語モデルのファミリーを最大137Bのモデルパラメーターでファインチューニングし、外部のナレッジソースを活用するようにモデルにトレインことによって構築されました。

**目標とメトリクス**
目的とメトリクスを定義することは、ダイアログモデルのトレーニングをガイドするために重要です。LaMDAには、品質、安全性、根拠という3つの主要な目標があり、それぞれを慎重に設計されたメトリックを使用して測定します。

**品質**：
品質を3つの次元、感度（Sensibleness）、特異性（Specificity）、および興味深さ（Interestingness）に分けます。これらは、人間の評価者によって評価されます。
感度とは、モデルがダイアログのコンテキストで意味のある応答を生成するかどうかを指します（たとえば、常識的な間違い、ばかげた応答、以前の応答との矛盾が無いこと）。
特異性は、システムの応答が先行するダイアログコンテキストに固有であるかどうかを判断することによって測定されます。ほとんどのコンテキストに適用できる一般的な応答で（たとえば、「ok」または「わからない」）ではないということです。
興味深さは、モデルが洞察に満ちた、予期しない、または機知に富んだ応答を生成するかどうかを測定します。よって、より良いダイアログを作成する可能性が高くなります。

**安全性**：
責任あるAIの開発と展開に関連する重要な質問への対応にも取り組んでいます。安全性メトリックは、モデルがダイアログに表示する必要のある動作をキャプチャする一連の安全目標で構成されています。これらの目的は、モデルの出力を制限して、ユーザーに害を及ぼすリスクを生み出す意図しない結果を回避し、不当なバイアスを強化することを回避しようとします。たとえば、これらの目標は、暴力的または残忍な、また人々のグループに対するスラーまたは憎悪的なステレオタイプを促進する、または冒とく的な表現やコンテンツを含む出力の生成を回避するモデルをトレーニングします。実用的な安全性指標の開発に向けた私たちの研究は非常に初期の作業です。

**根拠性（根拠に基づいていること）**：
現代の言語モデルは、もっともらしいと思われるが実際には事実と矛盾するステートメントを生成することがよくある既知の外部ソースで確立されています。これは、LaMDAの根拠性があることへの研究の動機となります。根拠性は、外界に関する主張を含むすべての回答の割合として、信頼できる外部ソースによってサポートできる主張を伴う回答の割合として定義されます。関連する指標である情報提供性は、すべての回答の割合として、既知の情報源によってサポートされる可能性のある外界に関する情報を含む回答の割合として定義されます。したがって、現実世界の情報をまったく含まないカジュアルな応答（「それは素晴らしいアイデアです」など）は、情報提供には影響しますが、根拠性には影響しません。LaMDAで生成された応答を既知のソースに根拠を持つこと自体は、事実の正確性を保証するものではありませんが、ユーザーまたは外部システムは、ソースの信頼性に基づいて応答の有効性を判断できます。

**LaMDAの事前トレーニング**
目的と指標を定義して、LaMDAの2段階のトレーニング（事前トレーニングとファインチューニング）について説明します。トレーニング前の段階では、最初に1.56Tの単語のデータセットを作成しました。これは、以前のダイアログモデルのトレーニングに使用された単語の約40倍であり、公開ダイアログデータやその他の公開Webドキュメントから作成されました。データセットを2.81TのSentencePieceトークンにトークン化した後、GSPMDを使用してモデルを事前トレーニングし、前のトークンを指定して、文内の次のすべてのトークンを予測します。事前にトレーニングされたLaMDAモデルは、プログラム合成、ゼロショット学習、スタイル転送など、 Google全体の自然言語処理研究にも広く使用されています。
![](https://aihack.aijobcolle.com/p/tz3apwrcy47vii4re5th-5b5b17f4.png)

**LaMDAのファインチューニング**
ファインチューニングの段階では、LaMDAをトレーニングして、特定のコンテキストに対する自然言語の応答を生成する生成タスクと、応答が安全で高品質であるかどうかの分類タスクを組み合わせて実行し、両方を実行できる単一のマルチタスクモデルを作成します。LaMDAジェネレーターは、2人の作成者間の前後のダイアログに制限されたダイアログデータセットの次のトークンを予測するようにトレーニングされていますが、LaMDA分類子は、注釈付きデータを使用して、コンテキスト内の応答の安全性と品質（SSI）の評価を予測するようにトレーニングされています 。 ダイアログ中に、LaMDAジェネレーターは、現在のマルチターンダイアログコンテキストを前提として、最初にいくつかの候補の応答を生成し、LaMDA分類子は、すべての応答候補のSSIスコアと安全スコアを予測します。 安全性スコアが低い候補の回答は、最初に除外されます。 残りの候補者はSSIスコアによって再ランク付けされ、上位の結果が回答として選択されます。 さらに、LaMDA分類器を使用して生成タスクに使用されるトレーニングデータをフィルタリングし、高品質の応答候補の密度を高めます。（Fig.1）
![](https://aihack.aijobcolle.com/p/oo63ktnhhxko2xjbym96-a8924d19.png)
Fig.1　LaMDAは、応答候補を生成してスコアリングする
LaMDAは、賢明で具体的かつ興味深い方法で任意のユーザー入力を処理します。 ダイアログの目的を設定するためにハードコーディングされたのは、LaMDAの最初のステートメント「こんにちは、私はフレンドリーな...」だけです。
![](https://aihack.aijobcolle.com/p/zsy9se9y9yecdtvacoyu-cdec783f.png)
Fig.2　LaMDAの応答例

**事実に基づいていること**
人々はツールを使用して確立された知識ベースを参照することで事実を確認できますが、多くの言語モデルは内部モデルのパラメーターのみに基づいて知識を引き出します。 LaMDAの元の応答の根拠を改善するために、人とLaMDAの間のダイアログのデータセットを収集します。これらのデータセットには、情報検索クエリと、該当する場合は検索結果が注釈として付けられます。 次に、このデータセットでLaMDAのジェネレーターと分類子をファインチューニングして、ユーザーとのやり取り中に外部情報検索システムを呼び出して、応答の根拠を改善する方法を学びます。 これはとても初期の作業ですが、有効な結果が得られています。
ゼロショットドメインの適応：
Fig.4は、最初のメッセージを「こんにちは、エベレストです。 私について何を知りたいですか？」に設定するだけで、エベレストを装ったLaMDAの実例です。エベレストLaMDAは、教育的で事実上正しい応答を提供することが示されています。
![](https://aihack.aijobcolle.com/p/9fctidhvynedx8ko7mct-c7d4fadb.png)
Fig.3　事実に基づいた会話の例

**評価**
主要な指標に対する進捗状況を定量化するために、事前にトレーニングされたモデル、ファインチューニングされたモデル、および人間による評価者（つまり、人間が生成した応答）から、複数回の2人の作成者のダイアログへの応答を収集し、別の人に質問します。人間の評価者のセットは、品質、安全性、および根拠性のメトリックに対してこれらの応答を評価するための一連の質問です。
LaMDAは、すべての次元およびすべてのモデルサイズで、事前にトレーニングされたモデルを大幅に上回っています。品質メトリクス（以下の最初の列の感度、特異性、および興味深いもの）は、一般に、ファインチューニングの有無にかかわらず、モデルパラメーターの数とともに向上します。安全性は、モデルのスケーリングだけではメリットがないようですが、ファインチューニングすることで向上します。モデルのサイズが大きくなると、おそらく一般的でない知識を記憶する能力が大きくなるため、根拠性は向上しますが、ファインチューニングにより、モデルは外部の知識ソースにアクセスし、知識を記憶する負荷の一部を外部の知識ソースに効果的にシフトできます。モデルのパフォーマンスは安全性と根拠性において人間のレベルを下回ったままですが、ファインチューニングにより人間のレベルとの品質のギャップを狭めることができます。
Fig.4は、事前トレーニング済みモデル（PT）、ファインチューニング済みモデル（LaMDA）、および人間による評価者が生成したダイアログ（Human）を、感度、特異性、面白さ、安全性、根拠、および有益性にわたって比較したものです。安全性と根拠性の測定に使用されるテストセットは、特に難しく設計されています。
![](https://aihack.aijobcolle.com/p/ba7ywxc3wk3dvnuoofir-808ff161.png)
Fig.4　各指標での評価

LaMDA: Language Models for Dialog Applications（AIの最新論文の読解、No.22）

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

PyTorchの躍進を紐解く３…

勾配法と学習率

いいね！ランキング

深層学習はシステム1からシステム2へ

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

なぜZoomは40分で切れるのか？

論文要約

ユーザーランキング

タグランキング

深層学習

AI

deeplearning

ディープラーニング

Transformer