2022/07/10 2022/07/11

”Decision Transformer: Reinforcement Learning via Sequence Modeling”（AIの最新論文の読解、No.24-1 ）

アクセス: 274

コメント: 0

”Decision Transformer: Reinforcement Learning via Sequence Modeling”（UC Berkeley, Facebook AI research, Google Brain, 2021.7 https://arxiv.org/pdf/2106.01345.pdf) を解説する。

ゼロショット言語生成モデルGPT-3や配信外画像生成モデルDALL-Eを含む最近の研究では、NLPで生まれたトランスフォーマーが CVの世界で非常に活発です。 Transformerは強化学習の世界にも革命を起こすことができるだろうか。

強化学習に、有望なトランスフォーマーを適用しようとした最近の研究があります。 それらとは異なり、この作業は、状態、アクション、および報酬の同時確率分布を自己回帰モデルとして扱い、強化学習の処理方法を変更するDecision Transformerを提案します。 オフラインRL問題設定では、既存のモデルフリーSOTA手法に匹敵する精度を実現します。

ここでは、トイデータを使用してDecision Transformerを直感的に理解する方法について説明します。

図2（左）に示す効果的なグラフで最短経路を見つけるタスクを考えてみましょう。強化学習の問題として、エージェントがゴールノードに到達した場合は報酬を0に設定し、それ以外の場合は-1に設定します。ゴーツーゴーのアイデアを使用して、図2（中央）のようなデータセットをランダム測度で取得できます。たとえば、-2のノードは、軌道データの2つのステップの後にゴールノードに到達することを意味します。ここでは、状態、アクション、および将来の収益を1つのトークンとして持つ一連のデータに対して、言語生成モデルGPTを使用して次のトークンを予測する自己回帰モデルをトレーニングしました。評価時に、現在の状態、目標報酬、過去の情報に基づいて、システムに次のノード（アクション）を予測させます。その結果、トレーニングデータセットから、状態とターゲット報酬のペアが関連しているトークンに対応するアクションを予測することができました。図2（右）は、トレーニングデータを単純に模倣するよりも優れた戦略を学習できることも示しています。
![](https://aihack.aijobcolle.com/p/5i39i5hm9u5hpgzn7yx3-cb415455.png)

**提案された方法：Decision Transformer**
提案された方法のアーキテクチャは非常に単純です。 以下の軌道系列データが与えられる設定を考えます。 時間tでの状態とアクション、およびReturns - to - goをトークンと見なし、KトークンをGPTのCausal Transformerに入力します。 トークンは、状態Sの畳み込み層（CNN）と、線形層を介した復帰トークンとアクショントークンを連結することによって取得されます。
![](https://aihack.aijobcolle.com/p/shoi9xff3gaxm5d8k54s-48cf2664.png)

トレーニング中に、最初にオフラインデータセットから系列の長さ=Kのミニバッチをサンプリングします。 次に、時間tより前の情報から取得されたトークンは、GPTで提案されたCausal Transformerに入力されます。これは、自己回帰モデルとして次のアクションを予測するようにトレーニングされています。 つまり、時刻tの状態、その後の復帰先、過去の情報を入力することで時刻tの動作を予測し、予測した動作を使用して次回を予測します。
最後に、離散動作の場合はクロスエントロピー損失関数を使用し、連続動作の場合は平均二乗誤差損失関数を使用してトレーニングします。

![](https://aihack.aijobcolle.com/p/otx3tp5wvt6fbekcaf5g-de53eeb4.jpg)
ただし、評価中、コンテキストの長さKと目標報酬はハイパーパラメータとして指定されます。 具体的なフローは下のアルゴリズムに示されています。
![](https://aihack.aijobcolle.com/p/pmrc7jeeg6zi65rayw34-2492f1e1.jpg)
**オフラインRLベンチマークを使用した実験と評価**
比較方法として、オフラインRLと動作クローニング（BCL）専用のアルゴリズムを選択しました。 提案されたDecisionTransformerはモデルフリーの方法であるため、モデルフリーのSOTAモデルであるConservative Q-Learning（CQL）、BEAR、およびBRACと比較しました。

実験課題は、高次元の画像観察と長期的なクレジット配分を必要とする離散行動空間を持つAtariと、きめ細かい連続制御を必要とするOpenAIGymでした。

Fig. 3 は、Decoision Transformerの精度が両方の実験で既存のSOTAの精度に匹敵することを示しており、提案された方法の有効性を示しています。
![](https://aihack.aijobcolle.com/p/scbmedpghty5r6id945x-42d88ae1.png)

**Atari (people)**
トレーニングには、DQN戦略によって取得された500万トランザクションの軌跡で構成されるデータセットの1％を使用しました。 また、プロゲーマーのスコアが100でランダム測度が0の評価を導入しました。
![](https://aihack.aijobcolle.com/p/pmzy22iyvf455wcteagb-971bd643.png)
4つのAtariタスク（Breakout、Qbert、Pong、およびSeaquest）で評価実験を実施し（表1）、この方法の精度は3つのタスクでSOTAのCQLに匹敵し、すべてのタスクで他の方法よりも優れていることがわかりました。

**OpenAI Gym**
このセッションでは、D4RLベンチマークに加えて2Dリーチャー環境を実験しました。これは、2Dリーチャータスクが目標指向であるため、報酬が離散的であるという点で他のタスクとは異なります。 以下に説明する3つのデータセットを使用しました。
1.Medium：スコアの観点からSACを使用してエキスパートレベルの1/3に達した「中レベル」の測定によって収集された100万タイムステップのデータセット
2.Medium-Replay：SACで「中レベル」に達する前にバッファに保存されたすべてのデータセット
3.Medium-Expert：「中レベル」および「専門家レベル」の測定によってそれぞれ収集された100万タイムステップのデータセット
表2の図に示すように、モデルフリーSOTAモデルCQLを最近提案されたすべての有望な方法と比較すると、提案された方法DTの方がほとんどのタスクで精度が高いことがわかります。
OpenAI Gymは、提案された方法の有効性をAtariよりも明確に示すことができました。
![](https://aihack.aijobcolle.com/p/rinu4fev72b26yixrnc3-78a3ecc5.png)

”Decision Transformer: Reinforcement Learning via Sequence Modeling”（AIの最新論文の読解、No.24-1 ）

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

PyTorchの躍進を紐解く３…

勾配法と学習率

いいね！ランキング

深層学習はシステム1からシステム2へ

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

なぜZoomは40分で切れるのか？

論文要約

ユーザーランキング

タグランキング

深層学習

AI

deeplearning

ディープラーニング

Transformer