2022/09/12 2022/09/12

"Towards Learning Universal Hyperparameter Optimizer with Transformers"（最新のAI論文の読解 No.26）

アクセス: 197

コメント: 0

"Towards Learning Universal Hyperparameter Optimizer with Transformers"（Google Research、2022.5）について概説する。

機械学習において最も重要なことの1つは、ハイパーパラメータの最適化です。機械学習タスクに適したハイパーパラメータを見つけることは、モデルの性能を左右する可能性があるためです。
Googleでは、ハイパーパラメータ最適化のデフォルト・プラットフォームとして、Google Vizierを通常使用しています。過去5年間のビジネス展開を通して、Google Vizierは、視覚、強化学習、言語などの機械学習アプリケーションだけでなく、タンパク質発見やハードウェアアクセラレーションなどの科学的アプリケーションなど、膨大な種類のアプリケーションで1000万回以上使用されています。
Google Vizierはそのデータベースで使用パターンを追跡することができます。このようなデータは通常、スタディ(studies)と呼ばれる最適化の軌跡からなり、現実的なハイパーパラメータのチューニング目標に関する非常に貴重な事前情報を含んでいます。そのため、より優れたアルゴリズムを開発する上で非常に魅力的です。
このようなデータを使ってメタ学習を行う手法はこれまでにも数多く存在しますが、それらの手法には共通する大きな欠点があります。それは、メタ学習の手順がハイパーパラメータの数やその値の範囲といった数値的制約に大きく依存し、その結果、すべてのタスクが完全に同じハイパーパラメータ探索空間(すなわちチューニング仕様)を使用しなければならないということです。

また、スタディの説明やパラメータ名など、追加のテキスト情報もほとんど使用されませんが、これらは最適化されるタスクのタイプに関する意味のある情報を保持することができます。このような欠点は、そのような有意義な情報を大量に含むことが多い大規模なデータセットでは、より悪化します。

本日、われわれは「Towards Learning Universal Hyperparameter Optimizers with Transformers」で、OptFormerを紹介します。
OptFormerは柔軟なテキストベースの特徴表現を用いて大規模最適化データから学習する、ハイパーパラメータチューニングのための最初のTransformerベースのフレームワークの1つです。
これまでにも多くの研究が様々な領域でTransformerの強力な能力を実証してきましたが、その最適化に関する能力、特にテキスト空間上での能力に触れるものはほとんどありませんでした。
私達の主な発見は、Transformerのアルゴリズムに関する興味深い能力を初めて実証したことです。
(1)単一のTransformerネットワークは、複数のアルゴリズムによる非常に複雑な動作を長い時間にわたって模倣することができます。
(2)さらに、ネットワークは非常に正確に目的値を予測することができ、多くの場合、ベイズ最適化などのアルゴリズムでよく使われるガウス過程を凌ぎます。

手法：スタディーをトークンで表現する
私達の研究は、従来手法のように数値データのみを用いるのではなく、自然言語の概念を利用し、初期メタデータのテキスト情報を含め、全てのスタディーのデータをトークンの列として表現しているところが新しい点です。
以下の図では、「CIFAR10」、「学習率(learning rate)」、「オプティマイザタイプ(optimizer type)」、「精度(Accuracy)」が含まれ、OptFormerに画像分類タスクである事を通知しています。
OptFormerは次にこのタスクで試す新しいハイパーパラメータを生成し、タスクの精度を予測し、最後に真の精度を受け取って、次回のハイパーパラメータ生成に使用します。
T5X コードベースを使って、OptFormer は標準的なエンコーダ・デコーダ方式で、Google Vizier で収集した実世界データ、公開ハイパーパラメータ(HPO-B) およびブラックボックス最適化ベンチマーク(BBOB:blackbox optimization benchmarks)など、幅広いハイパーパラメータ最適化の目的に対して標準的な生成的事前訓練を行います。
![](https://aihack.aijobcolle.com/p/n92uhrfj2dweofua3y6d-101d82e4.jpg)

図 : ハイパーパラメーター最適化 (HPO) 軌跡上の OptFormer モデルの図。ハイパーパラメータの提案 (緑) と応答関数の値 (赤) を予測

![](https://aihack.aijobcolle.com/p/bsfcpmpvjki2gnbde28g-19afb30a.png)

ポリシーの模倣
OptFormerは様々なアルゴリズムによる最適化の軌跡を学習するため、同時にそれらのアルゴリズムを正確に模倣することができるようになりました。指定されたアルゴリズムのメタデータにテキストベースのプロンプト（例：「Regularized Evolution」）を提供することで、OptFormerはそのアルゴリズムの動作を模倣します。

![](https://aihack.aijobcolle.com/p/ifr9tmbzfycjwjfwxdmk-5c65a496.png)

未知のテスト関数に対して、OptFormerはオリジナルのアルゴリズムとほぼ同じ最適化曲線を生成します。平均値と標準偏差のエラーバーが表示されています。

目標値の予測

さらに、OptFormerは最適化される目的値(例えば精度)を予測し、不確実性の推定値を提供することができるようになりました。

OptFormerの予測と標準的なガウス過程を比較したところ、OptFormerは格段に精度の高い予測が可能であることが分かりました。これは、OptFormerの検定曲線(calibration curve)が適合度テストにおいて理想的な対角線に密接に従うという定性的にも、対数予測密度などの標準的な集計指標による定量的にも、以下のように見ることができます。

![](https://aihack.aijobcolle.com/p/kmctjwv9k86i4oc5dzzz-cedee651.png)
左：Rosenblattの適合度。斜めに近い方がフィットしています。
右：対数予測密度。高いほど良いです。

両者の組み合わせ：モデルベースの最適化
ベイズ最適化と同様に、OptFormerの関数予測機能を用いて、模倣されたポリシーをより良く導くことができます。トンプソンサンプリング(Thompson Sampling)を使って、模倣されたポリシーの提案に順位をつけ，関数予測器に従って最もよいものだけを選択することができます。

これにより、古典的な合成ベンチマーク目標を最適化できます。標準的なCIFAR-10トレーニングパイプラインのハイパーパラメータ(学習率)調整の際に、Google Vizierの業界グレードのベイズ最適化アルゴリズムを上回ることができる拡張ポリシーが生成されます。

![](https://aihack.aijobcolle.com/p/k4hrd75gah9gcvfmm5cn-ca6abec4.png)
左：古典的なRosenbrock関数に対する現時点での最適化曲線
右：CIFAR-10上のResNet-50をinit2winitで学習させるためのハイパーパラメータに対する現時点での最適化曲線。両ケースとも、曲線ごとに10のシードを使用し、エラーバーは25%および75%で表示しています。

まとめ
この研究を通して、我々はTransformerの有用かつこれまで知られていなかった最適化能力を発見しました。将来的には、複雑な探索空間での最適化を促進するために数値データとテキストデータの両方を使用する普遍的なハイパーパラメータとブラックボックス最適化インターフェースへの道を開き、GoogleのオフラインAutoMLデータの膨大なコレクションを活用することによってOptFormerをTransformerエコシステムの残りの部分(例えば、言語、ビジョン、コード)と統合したいと考えています。

"Towards Learning Universal Hyperparameter Optimizer with Transformers"（最新のAI論文の読解 No.26）

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

PyTorchの躍進を紐解く３…

勾配法と学習率

いいね！ランキング

深層学習はシステム1からシステム2へ

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

なぜZoomは40分で切れるのか？

論文要約

ユーザーランキング

タグランキング

深層学習

AI

deeplearning

ディープラーニング

Transformer