2022/07/11 2022/07/11

”Decision Transformer: Reinforcement Learning via Sequence Modeling”（AIの最新論文の読解、No.24-2）

アクセス: 248

コメント: 0

**考察**
この論文では、いくつかの実験を行うことにより、DecisionTransformerの特性を調査しました。
このセクションでは、次の2つの観点から説明します。
１．模倣学習とどのように違うのか、目的報酬とコンテキストの長さKが結果にどのように影響するかなど、提案されたDecision Transformerのプロパティの分析、
２．これらのプロパティが長い一連のタスクで提供する利点の分析

1. Decision Transformerは、１部のデータセットに対して特定の報酬を得る設定での模倣学習とどのように異なるか？
データセットはエピソードごとの報酬順に並べられ、データの上位X％のみを使用して模倣トレーニングされたPercentile Behavior Cloning（％BC）を使用して、提案された方法がBCとどのように異なるかを分析しました。結果は、Decision Transformerが10％BCと同じくらい正確であることを示しています。これは、優れた戦略を学習するための情報がデータセットの上位10％に集中していることを示しています。
![](https://aihack.aijobcolle.com/p/ezt4a92sfduwnozbafu7-2029a153.png)
一方、リプレイバッファ内のデータの1％のみを使用するAtariを使用した実験では、％BCの精度が低く、DecisionTransformerの方が優れていました。 したがって、データ数が少ない場合、DecisionTransformerは模倣学習に最適なデータを効率的に選択すると推測できます。
![](https://aihack.aijobcolle.com/p/i6i6k2zdkuu6t9fhgro8-0d2eea25.png)

2. Decision Transformerは、報酬と状態に基づいて行動を予測しますが、その報酬は結果にどのように影響するか？

目的報酬の設定を調整して評価実験を行い、DecisionTransformerがこの後に得られる報酬の意味を理解しているかどうかを確認しました。
図4に示すように、ほとんどのタスクで、特定の目的報酬と実際に得られた報酬は相関しており、DecisionTransformerが目的報酬に応じて適切なアクションを選択できることを示しています。

さらに、AtariのSeaquestタスクでは、得られた報酬がデータセットの最高報酬よりも高かったという事実は、DecisionTransformerが探索する能力を持っていることを意味します。
![](https://aihack.aijobcolle.com/p/xkmfyh5xi5i7jz3ekx2x-c91406bd.png)

3. Decision Transformerのコンテキスト長Kは結果にどのように影響するか？
フレームトラッキングを使用した一般的な強化学習では、以前の1つの状態（K = 1）で十分であると考えられてきました。 ただし、Decision Transformerでは、実験で過去の情報にアクセスすることの重要性を示しており、過去の情報はAtariGameに役立つと推測できます。
![](https://aihack.aijobcolle.com/p/3cjjcgotbj739x24j47s-e4055e98.png)

4.Decision Transformerは、長期的なクレジット配分の問題とまばらな報酬設定にうまく対処できるか？
長いシーケンスで問題の設定に対処する方法は、強化学習の主要な課題でした。 ここでは、エージェントが鍵のある部屋でアクションを実行し、空の部屋からドアのある部屋に入るグリッドベースのKey-to-Door環境について考えます。 エージェントが最初の部屋で鍵を取得しないと、最後のドアを開けることができず、タスクは失敗します。 長期間にわたってクレジット時間を分配する能力を評価するために、空の部屋を提供します。
この実験では、ランダムに移動するメジャーによって収集されたデータセットでDecisionTransformerをトレーニングしました。 コンテキストの長さをエピソードの長さに設定します（K =エピソードの長さ）。 成功したデータのみを模倣する％BCとDecision Transformerのみが、測定値を効率的に学習できたことがわかります。さらに、TD Learning（CQL）は、長い時間ステップにわたってQ値を伝播できなかったため、精度が低くなりました。
![](https://aihack.aijobcolle.com/p/5oxh25imbrn2wwpgkcac-1f63e727.png)
ここでは、Decision Transformerを変更して、状態を正確にキャプチャできるかどうかを評価するアクションとともに報酬を予測しました。 図5（左）は、部屋が変わると、DecisionTransformerが予測された報酬を更新することを示しています。 さらに、キーを押してドアを開くと、アテンションウェイトが励起され、システムが正常に機能していることを示します。
![](https://aihack.aijobcolle.com/p/a3u8suzs2khpmbm3457o-cb0a506f.png)

**まとめ**
この記事では、強化学習に言語シーケンスモデルを適応させるというアイデアに動機付けられたDecisionTransformerを紹介しました。 言語モデルのアーキテクチャをまったく変更しないDecisionTransformerは、標準のオフラインRLベンチマークでのモデルフリーSOTAメソッドと同様に機能します。
これは簡単な方法で良い結果が得られますが、Decision Transformerの最も重要な貢献は、強化学習が自然言語処理の技術的進歩からも恩恵を受ける可能性を示すことであると考えています。 特に、Decision Transformerのアーキテクチャは、大規模な事前学習とファインチューニングを組み合わせることを目的としたオフラインRLに自然に適合しており、この研究が強化学習の大幅な改革につながることを願っています。

”Decision Transformer: Reinforcement Learning via Sequence Modeling”（AIの最新論文の読解、No.24-2）

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

PyTorchの躍進を紐解く３…

勾配法と学習率

いいね！ランキング

深層学習はシステム1からシステム2へ

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

なぜZoomは40分で切れるのか？

論文要約

ユーザーランキング

タグランキング

深層学習

AI

deeplearning

ディープラーニング

Transformer