2021/10/11 2021/10/11

深層強化学習によるチップ設計の自動化（AIの最新論文の読解、No.17）

アクセス: 144

コメント: 0

深層強化学習についての最新論文 "A graph placement methodology for fast chip design"（Nature 594, 207-212 (2021), Google Research, https://www.nature.com/articles/s41586-021-03544-w） について概説する。
<br />
今日のチップ設計のフロアプランは人の暗黙知に依存し、通常、新規のSoC全体には数ヶ月〜１年というとても時間のかかる作業です。今後加速するMLモデルの学習のため、次世代のチップを最適化する方法について推測する必要があります。チップ設計サイクルを劇的に短縮することで、ハードウェアは急速に進歩するMLの分野に適応できるようになります。ML自体がチップ設計サイクルを短縮する手段を提供し、ハードウェアとMLの間のより統合された関係が構築され、それぞれが他方の開発を加速できれば非常に素晴らしいことでしょう。

**チップ設計のフロアプランの課題**
コンピュータチップは通常数十のブロックに分割されており、各ブロックはメモリサブシステム、計算ユニット、制御ロジックシステムなどの個別のモジュールで構成されている。これらのブロックは、ネットリスト（回路コンポーネントのグラフ）、メモリコンポーネントのようなマクロ、スタンダードセル（NAND、NOR、XORなどの論理ゲート等）で記述できます。これらはすべてワイヤで接続されています。チップ設計のプロセスの中で、チップフロアプランと呼ばれるプロセスであるチップブロックのレイアウトの決定は、最も複雑で時間のかかる作業の1つであり、密度とルーティングに関する制約は順守しながら、電力、パフォーマンス、およびエリア（Power, Performance, Area）を最小化してネットリストをチップキャンバス（2Dグリッド）に配置する必要があります。 このトピックに関して数十年の研究がなされているが、人間の専門家がこの多面的な設計基準を満たすソリューションを作成を数週間繰り返す必要があります。この問題の複雑さは、ネットリストのグラフのサイズ（数百万から数十億のノード）、そのグラフを配置するグリッドの粒度、そして正しいターゲットメトリックの莫大な計算コスト（業界標準の電子設計自動化ツールを使用して数時間、場合によっては1日以上）から生じます。
**深層強化学習モデル**
モデルへの入力は、チップネットリスト（ノードタイプとグラフ隣接情報）、配置される現在のノードID、およびワイヤー、マクロ、標準セルクラスターの総数などのネットリストのメタデータです。ネットリストグラフと現在のノードは、入力状態をエンコードするために開発したエッジベースのグラフニューラルネットワークを通過します。これにより、部分的に配置されたグラフと候補ノードの埋め込みが生成されます。モデルへの入力は、チップネットリスト（ノードタイプとグラフの隣接情報）、配置されるカレントノードのID、そしてワイヤー、マクロ、スタンダードセルのクラスターの総数などのネットリストのメタデータです。ネットリストグラフとカレントノードは、入力状態をエンコードするために開発したエッジベースのグラフニューラルネットワークを通過します。これにより、部分的に配置されたグラフと候補ノードの埋め込み空間が生成されます。
![](https://aihack.aijobcolle.com/p/cskxnwczp5j86wxxkdgt-626fc542.png)
次に、エッジ、マクロ、およびネットリストのメタデータ埋め込みが連結された単一の埋め込み空間が形成され、フィードフォワードニューラルネットワークに渡されます。フィードフォワードネットワークの出力は、有用な特徴量をキャプチャし、ポリシーネットワークとバリューネットワークへの入力として機能する学習表現です。ポリシーネットワークは、現在のノードを配置できるすべての可能なグリッドセルにわたって確率分布を生成します。
トレーニングのイテレーションで、マクロはRLエージェントによって順番に配置され、その後、スタンダードセルクラスターがforce-directed 法によって配置されます。この方法では、回路をばねのシステムとしてモデル化して、ワイヤーの長さを最小限に抑えます。RLトレーニングは、おおよそのワイヤ長（つまり、半周長のワイヤ長、HPWL）とおおよその密度（配置されたネットリストによって消費されるルーティングリソースの割合）の加重平均を使用して、エージェントのチップ配置ごとに計算された、高速なおおよその報酬の信号によって行われます。
![](https://aihack.aijobcolle.com/p/nn4azuosppn8bvvdxu75-ab12684b.png)

**おおよその報酬とは**
この作業での目標は、ルーティングの混雑と密度の制約のもと、電力、パフォーマンス、および面積を最小限に抑えることです。研究の真の報酬は、ワイヤーの長さ、ルーティングの混雑、密度、電力、タイミング、面積などを含む商用EDAツールの出力です。ただし、RLポリシーでは、効果的に学習するために数十万の例が必要であるため、報酬関数を迅速に評価し、理想的には数ミリ秒で実行することが重要です。それらが効果的であるためには、これらのおおよその報酬関数も真の報酬と正の相関関係にある必要があります。したがって、コストの構成要素はワイヤ長です。これは、評価の計算コストがはるかに簡単であるだけでなく、電力とパフォーマンス（タイミング）にも相関するためです。複数の目的を1つの報酬関数に組み合わせるために、プロキシとしてワイヤの長さと密度の加重和を取ります。この加重を使用して、2つのメトリック間のトレードオフを調べることができます。

**結果**
この方法は、一般化機能を備えた最初のチップ配置の自動化アプローチです。つまり、前のネットリストを配置しながら学習した内容を活用して、新しい未知のネットリストの配置を作成できます。事前トレーニングを実行するネットリストの数を増やすと（つまり、配置の最適化の経験が増えるにつれて）、ポリシーが新しいネットリストに一般化され改善されることを示しています。

事前トレーニングにより、サンプルの効率と配置の品質が向上することがわかりました。事前にトレーニングされたポリシーを使用して生成されたプレースメントの品質を、ポリシーを最初からトレーニングして生成されたプレースメントの品質と比較します。以前に表示されなかったチップブロックの配置を生成するには、ゼロショット方式を使用します。つまり、事前にトレーニングされたポリシー（ファインチューニングなし）を使用して新しいブロックを配置し、1秒未満で配置を生成します。新しいブロックのポリシーをファインチューニングすることで、結果をさらに改善できます。
![](https://aihack.aijobcolle.com/p/ej7kpd6ebeff8ntdtd97-063ce479.png)
より大きなデータセットでトレーニングすると、アプローチのパフォーマンスが向上します。トレーニングセットを2ブロックから5ブロックに増やし、次に20ブロックに増やすと、ゼロショット時と同じトレーニング実時間でファインチューニングした後の両方で、ポリシーがより適切な配置を生成することが分かりました。
![](https://aihack.aijobcolle.com/p/eb23bwt89nu59r74s9yp-02f238d0.png)
以下の図では、人の専門家の配置デザインが左側に示され、本研究のアプローチの結果が右側に示されています。
白い領域はマクロを表し、緑の領域はスタンダードセルを表します。
![](https://aihack.aijobcolle.com/p/ezmvf5g9uubayg8eic27-18637566.png)
以下の図も同様に左が人、右が本研究における設計です。
![](https://aihack.aijobcolle.com/p/vmhd8xe7rjmmift6pxb2-b39b829b.png)

**結論**
この研究では、チップ配置の複雑で影響力のある問題を対象としています。 転移学習を可能にするRLベースのアプローチを提案します。つまり、RLエージェントは、より多くのチップのネットリストで経験を積むにつれて、チップの配置がより速く、改善されました。この研究が最先端のベースラインを上回り、人間の専門家よりも優れているか同等の配置を生成できることを示しています。

深層強化学習によるチップ設計の自動化（AIの最新論文の読解、No.17）

人気記事ランキング

YOLOv5 登場！このプロ…

噂のNotionですっきり、A…

PyTorchの躍進を紐解く３…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

いいね！ランキング

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

深層学習はシステム1からシステム2へ

深層強化学習によるチップ設計の自動化（A…

なぜZoomは40分で切れるのか？

深層強化学習によるチップ設計の自動化（A…

自己教師あり可逆性対応の強化学習（AIの…

Pay Attention to MLPs（AI最新論文読解No…

Pay Attention to MLPs（AI最新論文読解No…

何故Affineレイヤの逆伝播では行列を転置…

ユーザーランキング

タグランキング

深層学習

ディープラーニング

AI

deeplearning

Transformer