2021/11/08 2021/11/08

自己教師あり可逆性対応の強化学習（AIの最新論文の読解、No.18）

アクセス: 393

コメント: 0

"There Is No Turning Back: A Self-Supervised Approach for Reversibility-Aware Reinforcement Learning", Google Research, 2021  (https://arxiv.org/abs/2106.04480) を概説する。

ロボット工学からチップ設計までのさまざまなアプリケーションのエージェントをトレーニングするために有効なアプローチは強化学習（RL）です。 RLは、タスクを初期状態から行う方法を見つけることに優れていますが、エージェントがそのアクションの「可逆性」を理解するようにトレーニングするのはとても難しいですが、これはエージェントが環境内で安全に動作することを保証するために重要な事柄です。つまり、例えば、ロボットの製作は一般にコストがかかりメンテナンスが必要なため、コンポーネントの破損につながる可能性のあるアクションを実行することは避けたいと考えているからです。エージェントのアクションが元に戻せるかどうか？（または、より簡単に元に戻すことができるかどうか？）これを判断するのは、エージェントが動作している環境の物理に関する現実的なナレッジが必要ですが、標準のRLの設定でエージェントはこれを行うのに十分な環境のモデルを持っていません。

この論文では、RLのコンテキストでエージェントアクションの可逆性を概算する斬新で実用的な方法を示しました。このアプローチでは、可逆性対応RLと呼ばれ、自己教師ありのRLプロシージャに個別の可逆性推定コンポーネント、つまり、エージェントによって収集されたラベルのないデータから学習する機能を追加しました。 その役割は、RLポリシーを可逆的な動作に向けてガイドすることです。このアプローチは、倉庫番パズルゲームなどのいくつかのタスクで検証がなされ、RLエージェントのパフォーマンスを向上させることが確認されました。

**可逆性対応RL**
RLプロシージャに追加された可逆性コンポーネントは、相互作用から学習され、エージェントとは別にトレーニングできるモデルです。モデルトレーニングは自己教師あり学習であり、アクションの可逆性でデータにラベルを付ける必要はありません。代わりに、モデルはトレーニングデータのみによって提供されるコンテキストから、どのタイプのアクションが可逆的である傾向があるかを学習します。この可逆性の理論的な説明を、イベントAとBが発生したときのイベントAが別のイベントBに先行する確率の尺度と呼ばれます。 報酬がなくても相互作用のデータセットから学習できるため、真の可逆性の有用なプロキシは順位（precedence）です。

たとえば、ガラスをテーブルの高さから落とし、床にぶつかると粉々になる実験を想像してみてください。この場合、ガラスは位置A（テーブルの高さ）から位置B（床）に移動し、試行回数に関係なく、Aは常にBに先行するため、イベントのペアをランダムにサンプリングする場合、AがBの前である確率は1です。これは不可逆的なシーケンスを示します。代わりに、ガラスの代わりにゴム製のボールが落とされたと仮定します。この場合、ボールはAから始まり、Bにドロップしてから、Aに戻ります。したがって、イベントのペアをサンプリングする場合、AがBに先行するペアを見つける確率は0.5（ランダムなペアがAの前にBを示した確率として同じ）になり、可逆シーケンスを示します。

![](https://aihack.aijobcolle.com/p/gthbfpios6v5vpn7gg4t-67b3b31d.png)

実際には、相互作用のコレクションからイベントのペアをサンプリングし、それらをシャッフルし、ニューラルネットワークをトレーニングして、イベントの実際の時系列順を再構築します。 ネットワークのパフォーマンスは、実際のデータのタイムスタンプから導出された実測値と予測値を比較することによって測定および改善されます。時間的に離れているイベントは順序付けが不可能である傾向があるため、固定サイズの時間ウィンドウでイベントをサンプリングします。次に、この予測確率を可逆性のプロキシとして使用します。イベントAがイベントBの前に発生するというニューラルネットワークの信頼度が、選択した閾値よりも高い場合、イベントAからBへの遷移は不可逆的であると見なします。

![](https://aihack.aijobcolle.com/p/ywz7bguv6j6ddhc7ce49-1bcdc80b.png)

**可逆性をRLに統合**
RLに可逆性を統合する2つの方法を提案します。
１．可逆性対応探索（RAE）：
このアプローチは、修正された報酬関数を介して、不可逆的な遷移にペナルティを課します。 エージェントが不可逆的と見なされるアクションを選択すると、環境の報酬から正の固定ペナルティを差し引いたものに対応する報酬を受け取ります。これにより、そのようなアクションの可能性は低くなりますが、除外されることはありません。
２．可逆性対応コントロール（RAC）：
ここでは、すべての不可逆アクションがフィルターで除外されます。これは、ポリシーと環境の間の中間層として機能するプロセスです。 エージェントが不可逆的と見なされるアクションを選択すると、可逆的アクションが選択されるまでアクション選択プロセスが繰り返されます。

![](https://aihack.aijobcolle.com/p/npd8ymuoxhaup4c6i985-3477cfd0.png)

RAEとRACの重要な違いは、RAEは可逆的なアクションを推奨するだけで不可逆的なアクションを禁止しないことです。つまり、（下の倉庫番の例のように）利益がコストを上回っている場合でも、不可逆的なアクションを実行できます。その結果、RACは、不可逆的な副作用によって生じる、避けるべきリスクを伴う安全なRLに適しています。また、RAEは、不可逆的なアクションをほとんどの場合回避する必要があると思われるタスクに適しています。

RAEとRACの違いを説明するために、いくつかのシナリオ例を次に示します。

不可逆性の副作用を回避（禁止ではない）
安全なRLの一般的なルールは、注意すべき原則として、不可逆的な相互作用を最小限に抑えることです。このような機能をテストするために、オープンフィールドのエージェントが目標の達成を任務とするような環境を導入します。エージェントが確立された経路をたどる場合、環境は変化しませんが、エージェントが経路から離れて草の上に行くと、それがたどる経路は茶色に変わります。これにより環境が変化しますが、そのような動作に対するペナルティは課されません。

このシナリオでは、Proximal Policy Optimization（PPO）エージェントなどの一般的なモデルフリーエージェントは、平均して最短経路をたどり、草の一部を台無しにする傾向がありますが、PPO + RAEエージェントはすべての不可逆的な副作用を回避します。
![](https://aihack.aijobcolle.com/p/s835tk8e46n2pwfmr7dd-dd43401d.png)

**不可逆性を禁止することによる安全な相互作用**
また、エージェントがカートの上に不安定に直立しているポールのバランスをとるためにカートを制御する従来のカートポールタスクに対してテストしました。インタラクションの最大数を通常の200ではなく50kステップに設定しました。このタスクでは、不可逆的なアクションによってポールが落下する傾向があるため、このようなアクションは完全に回避することを推奨します。

アクションが元に戻せない確率の適切なしきい値を選択した場合、RACを任意のRLエージェント（ランダムエージェントであっても）と組み合わせても失敗しないことを示しています。よって、RACは、環境の最初のステップから安全で可逆的な相互作用を保証できます。

![](https://aihack.aijobcolle.com/p/r4gf6zwtnorek7aoanfw-a6e46e1f.png)

倉庫番ゲームでのデッドロックの回避
倉庫番ゲームは、プレイヤーが倉庫の番人を操作し、箱をターゲットスペースに押し込み、デッドロックの状況（たとえば、箱が隅にある場合や、場合によっては壁に沿っている場合）を回避するパズルゲームです。

![](https://aihack.aijobcolle.com/p/wz7i6kzwnxba3odankxp-4de7638c.png)

最先端のモデルフリーRLエージェントであるIMPALAの倉庫番ゲーム環境でのパフォーマンスをIMPALA + RAEエージェントのパフォーマンスと比較しました。 IMPALA + RAEポリシーを組み合わせたエージェントのデッドロックの頻度が少なくなり、スコアが高くなることが分かりました。

![](https://aihack.aijobcolle.com/p/ofxtbs8ddwhf5pfuw48i-f76d9f35.png)

このタスクでは、非常に不均衡な学習問題であるため、不可逆的なアクションを検出することは困難です。実際に不可逆的であるのはアクションの約1％のみであり、他の多くのアクションは、いくつかの追加によってのみ元に戻すことができるため、エージェントによるステップを増やすことだけで可逆的としてのフラグを立てることが困難です。

![](https://aihack.aijobcolle.com/p/cw957kiaz3fs76kwaxru-93e4f928.png)

すべての倉庫番ゲームのレベルの約半分は、少なくとも1つの不可逆的なアクションを完了する必要があると推定しています（たとえば、少なくとも1つのターゲットの目的地が壁に隣接しているため）。 IMPALA + RAEは、全てのレベルを解決するが、RAEはエージェントが不可逆的なアクションを実行することが重要な場合に、それを回避されないことを意味します。

**結論**
ランダムにサンプリングされた軌道イベントの時間的順序をモデル化することを学習することにより、RLエージェントがアクションの可逆性を予測できるようにする方法を示しました。これにより、探索と制御が向上します。 私たちが提案する方法は自己教師ありであるため、アクションの可逆性に関する事前の知識は必要なく、さまざまな環境に適しています。将来的には、これらのアイデアをより大規模でセーフティクリティカルなアプリケーションにどのように適用できるかを検証していきます。

自己教師あり可逆性対応の強化学習（AIの最新論文の読解、No.18）

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

PyTorchの躍進を紐解く３…

勾配法と学習率

いいね！ランキング

深層学習はシステム1からシステム2へ

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

なぜZoomは40分で切れるのか？

論文要約

ユーザーランキング

タグランキング

深層学習

AI

deeplearning

ディープラーニング

Transformer