2020/11/09 2020/11/09

AIの最新論文の読解（No.5）:Evolutionary AutoML　その2. NASNeT

アクセス: 473

コメント: 0

“<a href="https://arxiv.org/abs/1707.07012">Learning Transferable Architectures for Scalable Image Recognition</a>” (2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Google Brain)とその関連論文について解説します。 
NASNetは、NASを発展させたもので、CNNの畳み込みやプーリングをCNNセルと定義し、アーキテクチャを探索し、最適化します。 
NASNetでは多様なサイズの画像に対応するため、2つのセルを探索しています。 
Normal Cell：入力と同じサイズの特徴マップを出力する畳み込みレイヤー 
Reduction Cell：入力よりもサイズが2の倍数で削減された特徴マップを出力する畳み込みレイヤー 
これらNormal CellとReduction Cellを任意の回数積み重ねることによって、以下のようにCifar10（画像サイズ：32*32）やImageNet（画像サイズ:300*300くらい）に対応したニューラルネットワークを構成します。小さな画像サイズのデータセット（Cifar10）で探索されたセルがより大きなサイズの画像データセット（ImageNet）でも活用できるとしています。 <img height="530" src="https://lh3.googleusercontent.com/emAj-ZmteFvoGmESXN4V54l3acnC5nivoUqz0n5JbU3yDcXbOC2jfgmw8DfVnbc0vEI0VStGIl7WZoCAa0Zpj9hyOHOEApUmB-B3LsTKDiPi7NOUjY_b8op3DaEw7qRzAi9tHH0mpw" width="406" alt="emAj-ZmteFvoGmESXN4V54l3acnC5nivoUqz0n5JbU3yDcXbOC2jfgmw8DfVnbc0vEI0VStGIl7WZoCAa0Zpj9hyOHOEApUmB-B3LsTKDiPi7NOUjY_b8op3DaEw7qRzAi9tHH0mpw" /> 
Normal CellとReduction Cellの構造はController RNNで探索されます。Controller RNNは下図のようになりますが、NASNetではこの木構造を「ブロック」と呼びます。以下の図は2ブロックの入力となっています。 <img height="196" src="https://lh3.googleusercontent.com/yMIcQ6NbiCxoIG1bzA-MvisdqpuWjyy1di5bA3OQhfSZ19S036X5S-M3bX9c5ideqKaJBRZuELd_Kgvi8HnZDCrhcHcbGoj5pZ7MznUaa_tnnThtVmkJSHSwa6VXoeEqZKSzc6RIhg" width="624" alt="yMIcQ6NbiCxoIG1bzA-MvisdqpuWjyy1di5bA3OQhfSZ19S036X5S-M3bX9c5ideqKaJBRZuELd_Kgvi8HnZDCrhcHcbGoj5pZ7MznUaa_tnnThtVmkJSHSwa6VXoeEqZKSzc6RIhg" /> 
Child Networkの入力となる隠れレイヤーに処理（畳み込みやプーリング）を施し、結合して出力とするという構造はRNNセル探索とほぼ同じです。1ブロックでは5段階のパラメータ探索をSoftmaxで行っています。各段階の説明は以下のとおりです。 
1. 入力とする隠れレイヤーをhihi、hi−1hi−1またはもっと以前の隠れレイヤーから選択する。 
2. 1.と同じように、入力とする隠れレイヤーを選択する。 
3. 1.に施す処理を選択する（選択肢は後述）。 
4. 2.に施す処理を選択する（選択肢は後述）。 
5. 3.と4.の結合処理を選択し（選択肢は後述）、このレイヤーの出力とする。 
手順を図示すると以下のようになります。 <img height="321" src="https://lh6.googleusercontent.com/uGNEebf5P15I_8me-PhjfJZNZYX0H23PjY1tRQIkG3Wu5RUaaa2bWANjDLDBVkT2jJ7Wtst63n-oZB0V-Qxt0mGMvAubjnuUdeZscqVK1fmGay1vsSJ22Mxue4N320DpBAson9ZW_A" width="624" alt="uGNEebf5P15I_8me-PhjfJZNZYX0H23PjY1tRQIkG3Wu5RUaaa2bWANjDLDBVkT2jJ7Wtst63n-oZB0V-Qxt0mGMvAubjnuUdeZscqVK1fmGay1vsSJ22Mxue4N320DpBAson9ZW_A" /> 
3.と4.の選択肢（NASNet探索空間）は以下のとおりです。 
Identity 
1x3 then 3x1 convolution 
1x7 then 7x1 convolution 
3x3 dilated convolution 
3x3 max pooling 
3x3 average pooling 
5x5 max pooling 
7x7 max pooling 
1x1 convolution 
3x3 convolution 
3x3 depthwise-separable convolution 
5x5 depthwise-separable convolution 
7x7 depthwise-separable convolution 
なお、上記のconvolutionはいずれも活性化関数にReLUとBatchNormalizationを導入しています（ReLu→convolution→BatchNormalizationの順）。 
また、depthwise-separable convolutionではBatchNormalizationを導入せず、加えてdepthwiseとpointwise間にReLuを導入していません。 
5.の選択肢（NASNet探索空間）は以下になります。 
-2レイヤーのelement-wise addition 
-フィルターの寸法(filter dimension)による2レイヤーconcatenation 
なお、結合時の入力サイズを同一にするため、必要に応じて1x1 convolutionが挿入されます。 
上記手順をNormal CellとReduction Cellでブロック数分繰り返します（つまり1探索における出力は5ステップ∗ブロック数∗2セル5ステップ∗ブロック数∗2セルになります）。 
なお、3.と4.のフィルター数は以下の方式で可変で決めます。 
最初のレイヤーのフィルター数を任意に設定し、以降はReduction Cellで前レイヤーの2倍のフィルター数、Normal Cellでは前レイヤーと同数のフィルター数とする。 
Controller RNNは1レイヤーのLSTMとし、隠れレイヤー100、出力は5ステップ∗ブロック数∗2セル5ステップ∗ブロック数∗2セルという構成です。出力はSoftmaxで推論しています。 
なお、NASNetはController RNNを方策勾配法ではなくProximal Policy Optimization(PPO)で学習し、高速化と安定をはかっています。 
Cifar10とImageNetでの検証 
検証ではブロック数を5に固定して探索しています（つまり1探索における出力は5ステップ∗5ブロック∗2セル5ステップ∗5ブロック∗2セルになります）。 
NASNetではニューラルネットワーク自体のレイヤー数や順番（＝Normal Cell数、Reduction Cell数、その順番）や、最初のレイヤーのフィルター数は手動で設計します。 
論文の検証では、Cifar10やImageNetのニューラルネットワークで、Normal Cellの繰り返し数を下図のようにして検証しています。 <img height="394" src="https://lh6.googleusercontent.com/9iKykjABJeQ9lmxv-UPjCjro1LIp4hqHGng268MlUFWFo0kPW2mRJiVjeVb-TrLpvGvMXHt30XmzEff1AfpgMT8mfk_2o15KiyUf2GrV54feS08NLpdMiHZqWI0dYlGw-lKoLGhktQ" width="346" alt="9iKykjABJeQ9lmxv-UPjCjro1LIp4hqHGng268MlUFWFo0kPW2mRJiVjeVb-TrLpvGvMXHt30XmzEff1AfpgMT8mfk_2o15KiyUf2GrV54feS08NLpdMiHZqWI0dYlGw-lKoLGhktQ" /> 
検証ではCifar10でNormal Cell、Reduction Cellの構造を探索し、そこで最適化されたセルをImageNetに適用するという手順をとっています。Cifar10で得られたNormal CellとReduction Cellは以下のような構造になっています。 <img height="321" src="https://lh5.googleusercontent.com/voY_4whzvsDFceO2F3Ui_G5DF-0CwlIjPgxHyPy5Ofy-uQhlioUin9RjiHOCr81htqy_mXcbi1vuT7L9tZ1fI84XhfaBDr7odA7CpEqD3t49uv3AOczARQ1TzEES1uh1G4IuZ2MeAA" width="624" alt="voY_4whzvsDFceO2F3Ui_G5DF-0CwlIjPgxHyPy5Ofy-uQhlioUin9RjiHOCr81htqy_mXcbi1vuT7L9tZ1fI84XhfaBDr7odA7CpEqD3t49uv3AOczARQ1TzEES1uh1G4IuZ2MeAA" /> <img height="241" src="https://lh5.googleusercontent.com/-SkVqnY8AX7wVhlvDOklVAQSyU7zSgM1F8q3lSAXL02oOlez0CROH5kYbpR2wTnbTHqpaDCyTk_YbhNhWW5ckcnh8CuVKbT9gB0_z117BZx47eO1kRjZX-7BNDMDAaQGOuqfs9-zuQ" width="624" alt="-SkVqnY8AX7wVhlvDOklVAQSyU7zSgM1F8q3lSAXL02oOlez0CROH5kYbpR2wTnbTHqpaDCyTk_YbhNhWW5ckcnh8CuVKbT9gB0_z117BZx47eO1kRjZX-7BNDMDAaQGOuqfs9-zuQ" /> 
結果、NASNetは、公開された作品の中で、ImageNetで82.7％トップ1および96.2％トップ5の最先端の精度を達成。人間がこれまで発明した最高のアーキテクチャよりもトップ1の精度が1.2％優れていますが、要したFLOPSは90億少なく、以前の最先端モデルから計算需要が28％削減されています。 <img height="277" src="https://lh5.googleusercontent.com/6gleboN6GFL0-D4SRII9-EXHnuFkMIY45jOggKYgfQSMnEm_7XW7F52HokenqaobXJIIKQ0trRLP3RRlrY7HYMuV5fPraKNgSuGMkb2bv6461p4Qx6m_saW0LfgU1jUXR-lpQPdUAQ" width="625" alt="6gleboN6GFL0-D4SRII9-EXHnuFkMIY45jOggKYgfQSMnEm_7XW7F52HokenqaobXJIIKQ0trRLP3RRlrY7HYMuV5fPraKNgSuGMkb2bv6461p4Qx6m_saW0LfgU1jUXR-lpQPdUAQ" />

AIの最新論文の読解（No.5）:Evolutionary AutoML　その2. NASNeT

人気記事ランキング

YOLOv5 登場！このプロ…

噂のNotionですっきり、A…

PyTorchの躍進を紐解く３…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

いいね！ランキング

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

深層学習はシステム1からシステム2へ

深層強化学習によるチップ設計の自動化（A…

なぜZoomは40分で切れるのか？

深層強化学習によるチップ設計の自動化（A…

ユーザーランキング

タグランキング

深層学習

ディープラーニング

AI

deeplearning

Transformer