2020/11/06 2020/11/08

AIの最新論文の読解（No.3）: AdaNetによるアンサンブル学習の最適化

アクセス: 710

コメント: 0

“<a href="https://arxiv.org/abs/1905.00080">AdaNet: A Scalable and Flexible Framework for Automatically Learning Ensembles</a>” (6th ICML Workshop on Automated Machine Learning 2019, Google AI) について簡単に解説いたします。<br /><br />
１．アンサンブルアーキテクチャの最適化<br />
アンサンブル学習は、さまざまなMLモデルの予測を組み合わせる技術であり、近年ニューラルネットワークで広範に使用されており、様々なKaggleのコンペにおいても高いパフォーマンスを実現していますが、かつてはそのトレーニング時間が長いため、あまり使用されていませんでした。近年のコンピューティング能力の向上とTPUなどの深層学習に特化したプロセッサーが簡単に利用できるようになったため、MLモデルは必然的に大規模になり、アンサンブル学習の利用が顕著になりました。そこで、ニューラルネットワークのアーキテクチャを学習するだけでなく、複数のニューラルネットのアーキテクチャを自動的に探索し、効率的に最適なアーキテクチャの組み合わせを発見する方法論がAdaNetです。AdaNetでは、様々な深さと幅を持つサブネットワークを組み込み、多様なアンサンブルを作成することで、トレーニングロスを最小化する最適なアンサンブルを求めます。（Fig1）このモデルによって、高品質のMLモデルを自動的に作成し、MLのが最適なニューラルネットワークアーキテクチャを選択するために通常費やす時間を大幅に節約します。<br />
 
<div style="text-align:center;"><img src="https://2.bp.blogspot.com/-MXSy_I9M6nI/W9cx1LsFKRI/AAAAAAAADdc/HSFi3QnzgNwv5ovScFkLKUT9vyhAqVu2QCLcBGAs/s400/image1.gif" alt="image1.gif" /></div>

<div style="text-align:center;">Fig1.　AdaNetによるニューラルネットワークのアンサンブルアーキテクチャの最適化</div>
<br />
このAdaNetは、理論的には強化学習とAutoMLアルゴリズム（<a href="https://arxiv.org/abs/1703.01041">Large-Scale Evolution of Image Classifiers</a>, Esteban Real, etc. arXiv:1703.01041）の取り組みに基づいています。軽量のTensorFlowベースのフレームワークとしてTensorFlowEstimatorインターフェースを実装していて、トレーニング、評価、予測、またエクスポート機能をカプセル化することで、機械学習プログラミングを大幅に簡素化します。TensorFlow Hubモジュール、TensorFlow Model Analysis、GoogleCloudのハイパーパラメータチューナーなどのオープンソースツールに統合されています。また、利用可能なCPUとアクセラレーター（GPU、TPU）によってトレーニングが拡張可能で、トレーニング時間が大幅に短縮されます。

<div style="text-align:center;">Fig2. CIFAR -100におけるトレインステップ（x軸）ごとのAdaNetの精度（y軸）<br />
 </div>
Fig2の青い線はトレーニングセットの精度、赤い線はテストセットのパフォーマンスで、灰色と緑色の線は、新しいサブネットワークを追加する前のアンサンブルの精度です。<br /><br />
２． ”学習保証”<br />
ニューラルネットワークのアンサンブルを強化学習によって作成する際、「探索と活用（Exploration & Exploitation）」の課題があります。つまり、同じアーキテクチャを再利用することベストなのか、それとも多様性を促進するのために新たなサブネットを作成することがベストなのか、というトレード・オフの課題です。<br />
一般的にMLモデルの評価は、トレーニングセットから分割されたホールドアウトセットのパフォーマンスを計測しますが、AdaNetのアプローチは、トレーニングセットでのアンサンブルのパフォーマンスと、未知のデータに適応する能力との間のトレード・オフのバランスを最適化を行います。アンサンブルのトレーニングロスを改善する場合にのみ、候補のサブネットワークをアンサンブルに含めます。これにより、以下が保証されます。<br />
・アンサンブルの汎化誤差は、そのトレーニング誤差と複雑さによって制限があります。<br />
・この制限内で汎化誤差を最小化し最適化します。<br />
この最適化手法の実際的な利点は、アンサンブルに追加するサブネットワークの候補を選択するためのホールドアウトセットが不要になることです。これには、サブネットワークをトレーニングするためにより多くのトレーニングデータを使用できるという利点もあります。<br /><br /><img src="https://3.bp.blogspot.com/-U6Eu-1CEvXE/W9dEhAWddwI/AAAAAAAADeI/4crG3Z36pngB5_W75p_YCi6n9_h9fbZMgCLcBGAs/s640/f3v2.png" alt="f3v2.png" /><br />
Table. Performance of a NASNet-A model as presented in Zoph et al., 2018 versus AdaNet learning to combine small NASNet-A subnetworks on CIFAR-10.<br />

AIの最新論文の読解（No.3）: AdaNetによるアンサンブル学習の最適化

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

噂のNotionですっきり、A…

PyTorchの躍進を紐解く３…

いいね！ランキング

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

深層学習はシステム1からシステム2へ

自己教師あり可逆性対応の強化学習（AIの…

深層強化学習によるチップ設計の自動化（A…

ユーザーランキング

タグランキング

深層学習

ディープラーニング

AI

deeplearning

Transformer