2022/02/14 2022/02/16

進化する強化学習アルゴリズム２（AIの最新論文の読解、No.19）

アクセス: 70

コメント: 0

**学習したアルゴリズム**
発見されたアルゴリズムの中で優れた一般化パフォーマンスを示した事例を2つ、以下で説明します。

1つ目はDQNRegで、通常の2乗ベルマンエラーにQ値の加重ペナルティを追加することでDQNに基づいています。

2つ目に学習した損失関数DQNClippedはより複雑ですが、その主要項(Dominant Term)は単純な形式、つまりQ値の最大値とベルマン誤差の2乗(定数を法として)です。

どちらのアルゴリズムも、Q値を正則化する方法と見なすことができます。DQNRegはソフト制約を追加しますが、DQNClippedは、Q値が大きくなりすぎた場合に、Q値を最小化する一種の制約付き最適化として解釈できます。Q値を過大評価することが潜在的な問題である場合、この学習された制約がトレーニングの初期段階で始まることを示します。この制約が満たされると、損失は代わりに元の2乗ベルマンエラーを最小化します。

綿密な分析によると、DQNのような比較対象手法は一般的にQ値を過大評価していますが、今回学習したアルゴリズムはさまざまな方法でこの問題に対処しています。 DQNRegはQ値を過小評価しますが、DQNClippedは、過大評価せずにゆっくりと真の値に近づけるという点で、double dqnと同様の動作をします。

進化の元ネタとしてDQNを与えると、これら2つのアルゴリズムが一貫して出現する事は指摘する価値があります。ゼロから学習させると本手法は、TDアルゴリズムを再発見します。

完全を期すために、進化中に発見された上位1000の実行アルゴリズムのデータセットをgithubで公開しています。好奇心旺盛な読者は、これらの学習された損失関数の特性をさらに調査することができます。
![](https://aihack.aijobcolle.com/p/kuyo2uw7z55edge9xgne-adb44522.png)
過大評価された値は、一般的に値ベースのRL(value-based RL)の課題です。
今回の手法は、Q値を正則化して過大評価を減らすアルゴリズムを見つけて学習します。
**学習したアルゴリズムの一般化パフォーマンス**
通常、RLにおける一般化とは、様々なタスクに対して一般化するトレーニング済みのポリシーを指します。ただし、本研究では、アルゴリズムの一般化パフォーマンスに関心があります。これは、一連の環境でアルゴリズムがどの程度うまく機能するかを意味します。
一連の古典的な制御環境では、学習したアルゴリズムは、密な報酬タスク(CartPole、Acrobot、LunarLander)で比較対象手法と一致し、よりまばらな報酬タスクであるMountainCarでDQNよりも優れています。

![](https://aihack.aijobcolle.com/p/cfe9t2z7zmnarr9pug74-f42866c7.jpg)

結論
本投稿では、損失関数を計算グラフとして表現し、この表現を介してエージェントの母集団を進化させることにより、新しい解釈可能なRLアルゴリズムを学習する方法について説明しました。

計算グラフの定式化により、研究者は人間が設計したアルゴリズムに基づいて構築し、既存のアルゴリズムと同じ数学的ツールセットを使用して学習したアルゴリズムを研究することができます。学習したアルゴリズムのいくつかを分析し、それらをエントロピー正則化の形式で解釈して、値の過大評価を防ぐことができます。これらの学習されたアルゴリズムは、ベースラインを上回り、初見の環境に一般化する可能性があります。最高のパフォーマンスを発揮するアルゴリズムは、更なる分析研究に利用できます。

今後の研究が、actor criticアルゴリズムやオフラインRLなどのより多様なRL設定にまで及ぶことを願っています。更に、この作業が機械支援アルゴリズムの開発につながることを願っています。計算メタ学習(computational meta-learning)は、研究者が学習したアルゴリズムを追求して自分の作業に組み込むための新しい方向性を見つけるのに役立ちます。

進化する強化学習アルゴリズム２（AIの最新論文の読解、No.19）

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

噂のNotionですっきり、A…

PyTorchの躍進を紐解く３…

深層学習はシステム1から…

いいね！ランキング

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

深層学習はシステム1からシステム2へ

自己教師あり可逆性対応の強化学習（AIの…

深層強化学習によるチップ設計の自動化（A…

ユーザーランキング

タグランキング

深層学習

ディープラーニング

AI

deeplearning

Transformer