2021/04/07 2021/04/12

AutoML-Zero（AI最新論文読解No.14）

アクセス: 361

コメント: 0

"AutoML-Zero: Evolving Machine Learning Algorithms From Scratch", (Google reasearch, Proceedings of the 37 th International Conference on Machine Learning, Vienna, Austria, PMLR 119, 2020.) を解説する。

ディープニューラルネットワークのようなパラメータが多いMLアルゴリズムを構築することは多くの場合難しいが、それがMLアルゴリズムの設計自動化を目的とするAutoML研究を推進する原動力になってきました。 そのAutoMLは、高度な手動で設計されたコンポーネントを組み合わせることでソリューションを構築することに重点が置かれてきました。AutoMLでこれらの手動で設計されたコンポーネントを組み合わせる方法とは異なる別のアプローチは、アルゴリズム全体の構成要素を最初から検索して組み合わせることです。これは、広大な検索スペースの探索を必要とするため、困難ですが、大きな潜在的な利点があります。それはすでに分かっていることに依存せず、新しくより優れたMLアーキテクチャを発見する可能性があります。類推すると、一から家を建てる場合、プレハブの部屋だけを使って家を建てる場合よりも、柔軟性や改善の可能性が高くなります。ただし、部屋全体の既成のデザインを組み合わせるよりもレンガとモルタルを組み合わせる方法がたくさんあるため、このような住宅のデザインを見つけるのは莫大な計算能力を必要とします。

ICML 2020で公開された最新論文である進化的AutoMLへの研究の拡張は、MLアルゴリズムをゼロからうまく進化させることが可能であることを示しています。 AutoML-Zeroと呼ばれるアプローチは、空のプログラムから始まり、基本的な数学演算のみを構成要素として使用し、進化的手法を適用して、完全なMLアルゴリズムのコードを自動的に見つけます。小さな画像分類の問題に対して、この手法でバックプロパゲーションや線形回帰などを備えた2層ニューラルネットワークなど、長年にわたって研究者によって発明された基本的なML手法を再発見することができました。この結果は、より新しいMLアルゴリズムを自動的に発見する可能性を示しています。

**ゼロから進化する学習アルゴリズム**
アルゴリズムの空間を検索するために、古典的な進化的手法を使用します。これらの方法は、遺伝的アルゴリズムと呼ばれ、80年代からコンピュータプログラムの発見に役立つことが証明されました。それらの単純さとスケーラビリティにより、学習アルゴリズムの発見に適しています。この研究では、母集団は空のプログラムで初期化されます。次に、繰り返しサイクルで進化して、より優れた学習アルゴリズムを生成します。各サイクルで、2つ以上のランダムに作成されたモデルが競い合い、最も精度の高いモデルが親になります。親は自分自身を複製して子を生成し、子は変異します。つまり、子のコードはランダムな方法で変更（例えばコード内の行を任意に挿入、削除、または変更）することを意味します。次に、変更後のアルゴリズムが画像分類タスクで評価されます。

![](https://aihack.aijobcolle.com/p/79ve774p7xpxfvnaiav2-07d131a0.png)
  
![](https://aihack.aijobcolle.com/p/py2d52yvk7uu2ygpj7y2-534031f2.png)

**実行可能領域の探索**
AutoML-Zeroのセットアップは、以前の多くのAutoMLのタスクとは対照的に、検索スペースを非常にスパースにします。正確なアルゴリズムは10^12の候補に1つの割合で非常にまれなものです。これは、アルゴリズムに提供されるビルディングブロックの粒度に依存し、変数の割り当て、加算、行列の乗算などの基本的な操作のみが含まれます。このような環境では、ランダム検索では妥当な時間内に解決策を見つけることはできませんが、本研究の測定によれば、進化は数万倍速くなる可能性があります。時折アルゴリズムを交換する複数のマシンに検索を分散しました。また、各子アルゴリズムを評価するための小さなプロキシ分類タスクを構築し、高度に最適化されたコードを使用してこの評価を実行しました。検索スペースのまばらさにもかかわらず、進化的検索は時間の経過とともにより複雑で効果的な手法を発見します。最初に、ハードコードされた重みを持つ線形モデルを表す最も単純なアルゴリズムが表示されます。やがて、確率的勾配降下法（SGD）は、勾配自体が構成要素として提供されていなかったにもかかわらず、重みを学習するために発明されました。それは始めは精度の低いものでしたが、比較的迅速に修正され、予測および学習アルゴリズムの一連の改善が始まりました。最終的にこのアプローチは、同等の複雑さのハンドデザインよりも優れたモデルを構築することに成功しました。
  
![](https://aihack.aijobcolle.com/p/g7bhxauagz5esdnbkk2x-0b27155a.png)
  
![](https://aihack.aijobcolle.com/p/z4xgj47t8vdoxe5uez6z-59ad270c.png)
  
![](https://aihack.aijobcolle.com/p/znknss36tn4oebgdyegi-1c02fb30.jpg)

**進化したアルゴリズム**
上図には、これらの手法で作成された最も進化したアルゴリズムが含まれています。この最終的なアルゴリズムには、データ拡張としてのノイズの注入、双線形モデル、勾配正規化、重みの平均化などの手法が含まれ、ベースラインに対する改善は、検索中に使用されないデータセットにも転送されます。この論文では、進化したコードのさまざまな行がこれらの各手法をどのように実装しているかを説明しています。

より多くの実験を通じて、進化プロセスがアルゴリズムの適合度を評価するタスクの制御することにより、進化的検索を導くことが可能であることを示します。たとえば、データの量を減らすとnoisy ReLUが現れ、正則化に役立ちます。または、トレーニングステップの数を減らすと学習率の減衰が発生し、収束が速くなります。自動工具発明機がハンマーや針を思いついた場合は興味深いかもしれませんが、釘や針を見せたときにハンマーを思いついた場合ははるかに興味深いものです。このアナロジーのように、本研究ではnoisy ReLU（ハンマー）は、データ（釘）が少ない場合に発見され、学習率はトレーニングステップが少ない場合に減衰するということが判明しました。
  
  ![](https://aihack.aijobcolle.com/p/koi5p6nae263z3pcrob8-c480a188.jpg)
  この研究では、AutoMLの野心的な目標が提案されした。それはフォームの制限を最小限に抑えながら、基本的な操作からMLアルゴリズム全体を自動的に検出することです。目的は検索スペースでの人間の偏見を減らすことができます。まず、3つのコンポーネント機能（セットアップ、予測、学習）で構成されるコンピュータープログラムとしてMLアルゴリズムを表す新しいフレームワークを構築することにより、この研究の方向性の可能性を示しました。空のコンポーネント関数から始めて、基本的な数学演算のみを使用して、ニューラルネットワーク、勾配降下法、乗法相互作用、重み平均化、正規化を進化させました。これが最終的に新しいMLの概念につながる可能性があり、非常にエキサイティングなことです。

AutoML-Zero（AI最新論文読解No.14）

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

PyTorchの躍進を紐解く３…

噂のNotionですっきり、A…

いいね！ランキング

深層学習はシステム1からシステム2へ

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

なぜZoomは40分で切れるのか？

ゼロから作るDeep Learningの5章までのま…

ユーザーランキング

タグランキング

深層学習

deeplearning

ディープラーニング

AI

Transformer