2022/08/07 2022/08/08

Multi-Game Decision Transformers（AI最新論文の読解　No.25）

アクセス: 256

コメント: 0

現在の深層強化学習(RL) メソッドは、 GoやStarCraftなどの特定の環境でのさまざまな個々のタスクの意思決定に優れた専門の人工エージェントをトレーニングできます。しかし、これらの結果を、多くの異なるタスクを実行できるだけでなく、潜在的に異なる実施形態を持つさまざまな環境で実行できるジェネラリスト エージェントに拡張するための進捗はほとんどありません。

自然言語処理、画像、生成モデル ( PaLM、Imagen、Flamingoなど) の分野における最近の進歩を見渡すと、汎用モデルの作成におけるブレークスルーは、多くの場合、Transformerベースのモデルをスケールアップし大規模で意味的に多様なデータセットでそれらをトレーニングすることによって達成されています。シーケンシャルな意思決定のためのジェネラリスト エージェントを構築する際に、同様の戦略を使用できるのではないかと考えるのは当然です。このようなモデルは、 PaLMやFlamingoと同様に、新しいタスクへの迅速な適応も可能かもしれません。
今回の論文「Multi-Game Decision Transformers」で、多くのビデオ ゲームを同時にプレイするジェネラリスト エージェントを構築する方法を探ります。このモデルは、人間に近いパフォーマンスで 41 の Atari ゲームを同時にプレイでき、ファインチューニングによって新しいゲームにもすばやく適応できるエージェントをトレーニングします。このアプローチは、TD 学習やビヘイビアクローニング(BC) など、マルチゲーム エージェントを学習するいくつかの既存の手段を大幅に改善します。

![](https://aihack.aijobcolle.com/p/kx3er8w922ttvb93c8g6-03547d01.png)
**リターンを最適化するのではなく、最適性を求めるということ**
強化学習では、報酬はタスクの完了に関連するインセンティブ シグナルを指し、リターンはエージェントとその周囲の環境との間の相互作用の過程における累積的な報酬を指します。従来の深層強化学習エージェント ( DQN、SimPLe、Dreamerなど) は、最適なリターンを達成するための意思決定を最適化するようにトレーニングされています。すべてのステップで、エージェントは環境を観察し、将来の相互作用でより高いリターンの大きさを達成するためにどのような行動をとるかを決定します。

それに対して、この研究ではRL エージェントをトレーニングするためのバックボーン アプローチとしてDecision Transformerを使用します。Decision Transformerは、エージェントと周囲の環境との間の過去の相互作用、および 最も重要で望ましい、将来の相互作用で達成されるリターンを考慮して、将来のアクションを予測するシーケンスモデルです。従来の強化学習のように高いリターンの大きさを達成するためのポリシーを学習する代わりに、Decision Transformerは、エキスパート レベルから初心者レベルまでのさまざまな経験を、トレーニング中に対応するリターンの大きさにマッピングします。さまざまな経験 (初心者からエキスパート レベルまで) でエージェントをトレーニングすることで、モデルをゲームプレイのより幅広いバリエーションにさらすことができます。これにより、どのような状況でも成功できるゲームプレイの有用なルールを抽出することができます。したがって、推論中、Decision Transformer は、最適なリターンを含め、トレーニング中に見た範囲内の任意の戻り値を達成できます。

しかし、リターンが最適であり、特定の環境で安定して達成できるかどうかは、どうすれば計測できるでしょうか。Decision Transformerの以前のアプリケーションは、個々のタスクごとに望ましいリターンのカスタマイズされた定義に依存していました。これには、特定のゲームごとに適切に解釈可能なシグナルである妥当で有益な範囲のスカラー値を手動で定義する必要がありました。 . この問題に対処するために、トレーニング中の環境との過去の相互作用に基づいて、リターンの大きさの分布をモデル化します。推論時に、より高いリターンに関連するアクションを生成する確率を高める最適性バイアスを追加するだけです。

エージェントと環境の相互作用の時空間パターンをより包括的にキャプチャするために、グローバルな画像表現の代わりに画像パッチを考慮するように Decision Transformer アーキテクチャも変更しました。パッチを使用すると、モデルがローカル ダイナミクスに集中できるようになり、ゲーム固有の情報をさらに詳細にモデル化するのに役立ちます。

これらの要素を組み合わせることで、マルチゲーム意思決定トランスフォーマーのバックボーンが得られます。
![](https://aihack.aijobcolle.com/p/roi9of7uf7tcnrn2csjg-022b8901.png)
**一度に 41 のゲームをプレイするためのマルチゲーム Decision Transformer のトレーニング**
41 の Atari ゲームから大規模 (~1B) で幅広いゲームプレイ エクスペリエンスセットで 1 つの Decision Transformer エージェントをトレーニングします。私たちの実験では、マルチゲーム意思決定変換器 (MGDT) と呼ばれるこのエージェントは、41 個のゲームを同時にプレイする学習において、既存の強化学習および行動クローン手法よりも明らかに優れており、ほぼ人間レベルの能力を発揮します (次の図の 100% は、人間のゲームプレイのレベルに対応します)。これらの結果は、静的データセットからポリシーを学習する必要がある場合 (オフライン) と、環境との対話から新しいデータを収集できる場合 (オンライン) の両方の設定でトレーニング方法を比較した場合に当てはまります。
![](https://aihack.aijobcolle.com/p/wcxke637jn5z7iphnue3-d232ca80.png)
この結果は、デシジョン トランスフォーマーがマルチタスク、マルチ環境、およびマルチ実施形態のエージェントに適していることを示しています。

Deepmindの研究成果である「[A Generalist Agent](https://www.deepmind.com/publications/a-generalist-agent)」は、同様の結果を示しており、Transformerに基づく大規模なシーケンス モデルが、より多くの環境でエキスパートの行動を非常によく学習できることを示しています。さらに、 Deepmindの研究と我々の研究は、うまく補完し合うという発見があり、DeepmindはAtari ゲーム以外の幅広い環境でトレーニングが可能であることを示しています。
上記のパフォーマンスに加えて、経験的に、さまざまな経験でトレーニングされた MGDT は、専門家レベルのデモンストレーションのみでトレーニングされた MDGT や単にデモンストレーション動作の複製でトレーニングされた MDGT よりも優れていることがわかりました。

**マルチゲーム モデルのサイズをスケールアップしてパフォーマンス向上**
最近の多くの機械学習のブレークスルーでは、スケールが主な原動力となっており、通常はTransformerベースのモデルのパラメーター数を増やすことで達成されます。Multi-Game Decision Transformers に関する我々の観察結果も同様です。パフォーマンスは、モデルサイズが大きくなると予想どおりに向上します。特に、そのパフォーマンスはまだ天井に達していないようであり、他の学習システムと比較して、モデルのサイズが大きくなるにつれてパフォーマンスの向上がより顕著になります。

![](https://aihack.aijobcolle.com/p/hdybgggvoke6f6cgkego-fa742220.png)

**事前トレーニング済みのマルチゲーム意思決定トランスフォーマーは学習が速い**
MGDT のもう 1 つの利点は、非常に少数のゲームプレイ デモンストレーションから新しいゲームのプレイ方法を学習できることです (すべてがエキスパートレベルである必要はありません)。その意味で、MGDT は、小さな新しいゲームプレイ データで迅速にファインチューニングできる事前トレーニング済みモデルと見なすことができます。他の一般的な事前トレーニング方法と比較して、より高いスコアを取得する上で一貫した利点を明確に示しています。

![](https://aihack.aijobcolle.com/p/4gyu55wv622vufcsn9jg-5db6b4c6.png)
**エージェントが見ているところ**
定量的な評価に加えて、エージェントの行動を視覚化することは洞察に満ちたものです。アテンションヘッドを精査することにより、MGDT モデルは一貫して、意味のあるゲーム エンティティを含む観測画像の領域を視野に置いていることがわかりました。さまざまなゲームの次のアクションを予測するときにモデルのアテンションを視覚化し、エージェントの画面上のアバター、エージェントの自由な移動スペース、エージェント以外のオブジェクト、主要な環境機能などのエンティティに一貫してアテンションを向けていることを発見しました。たとえば、インタラクティブな設定で、正確な世界モデルを持つ既知のオブジェクト （現在存在する障害物など) に焦点を当てる方法とタイミングを知る必要があるだけでなく、将来の未知のもの (ネガティブ スペースなど) を予測および/または計画する必要があります。このように、各環境の多くの主要コンポーネントにさまざまな注意を向けることで、最終的にパフォーマンスが向上します。
![](https://aihack.aijobcolle.com/p/tne3gsafjy9ccezzpxsz-4594ee4e.jpg)

**大規模ジェネラリスト エージェントの今後**
この研究は、多くの環境、実施形態、および動作スタイルにわたって汎用エージェントをトレーニングする可能性を実証する重要なステップです。私たちは、パフォーマンスのスケールアップの利点と、さらなるスケールアップの可能性を示しました。これらの調査結果は、視覚や言語などの他の領域と同様の一般化の物語を示しているようです。これは、データのスケーリングの大きな可能性と、多様な経験からの学習の有効性を示唆しています。

Multi-Game Decision Transformers（AI最新論文の読解　No.25）

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

PyTorchの躍進を紐解く３…

勾配法と学習率

いいね！ランキング

深層学習はシステム1からシステム2へ

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

なぜZoomは40分で切れるのか？

論文要約

ユーザーランキング

タグランキング

深層学習

AI

deeplearning

ディープラーニング

Transformer