2020/11/09 2022/05/27

AIの最新論文の読解（No.5）:Evolutionary AutoML　その2. NASNeT

アクセス: 667

コメント: 0

“<a href="https://arxiv.org/abs/1707.07012">Learning Transferable Architectures for Scalable Image Recognition</a>” (2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Google Brain)とその関連論文について解説します。 
NASNetは、NASを発展させたもので、CNNの畳み込みやプーリングをCNNセルと定義し、アーキテクチャを探索し、最適化します。 
NASNetでは多様なサイズの画像に対応するため、2つのセルを探索しています。 
Normal Cell：入力と同じサイズの特徴マップを出力する畳み込みレイヤー 
Reduction Cell：入力よりもサイズが2の倍数で削減された特徴マップを出力する畳み込みレイヤー 
これらNormal CellとReduction Cellを任意の回数積み重ねることによって、以下のようにCifar10（画像サイズ：32*32）やImageNet（画像サイズ:300*300くらい）に対応したニューラルネットワークを構成します。小さな画像サイズのデータセット（Cifar10）で探索されたセルがより大きなサイズの画像データセット（ImageNet）でも活用できるとしています。

Normal CellとReduction Cellの構造はController RNNで探索されます。Controller RNNは下図のようになりますが、NASNetではこの木構造を「ブロック」と呼びます。以下の図は2ブロックの入力となっています。 
![](https://aihack.aijobcolle.com/p/itkb65fkbiey5zxxodvw-acc73f7f.png)
 
Child Networkの入力となる隠れレイヤーに処理（畳み込みやプーリング）を施し、結合して出力とするという構造はRNNセル探索とほぼ同じです。1ブロックでは5段階のパラメータ探索をSoftmaxで行っています。各段階の説明は以下のとおりです。 
1. 入力とする隠れレイヤーをhihi、hi−1hi−1またはもっと以前の隠れレイヤーから選択する。 
2. 1.と同じように、入力とする隠れレイヤーを選択する。 
3. 1.に施す処理を選択する（選択肢は後述）。 
4. 2.に施す処理を選択する（選択肢は後述）。 
5. 3.と4.の結合処理を選択し（選択肢は後述）、このレイヤーの出力とする。 
手順を図示すると以下のようになります。 
![](https://aihack.aijobcolle.com/p/arnf7n9j8vtecj6dm2a7-9b450139.png)

3.と4.の選択肢（NASNet探索空間）は以下のとおりです。 
Identity 
1x3 then 3x1 convolution 
1x7 then 7x1 convolution 
3x3 dilated convolution 
3x3 max pooling 
3x3 average pooling 
5x5 max pooling 
7x7 max pooling 
1x1 convolution 
3x3 convolution 
3x3 depthwise-separable convolution 
5x5 depthwise-separable convolution 
7x7 depthwise-separable convolution 
なお、上記のconvolutionはいずれも活性化関数にReLUとBatchNormalizationを導入しています（ReLu→convolution→BatchNormalizationの順）。 
また、depthwise-separable convolutionではBatchNormalizationを導入せず、加えてdepthwiseとpointwise間にReLuを導入していません。 
5.の選択肢（NASNet探索空間）は以下になります。 
-2レイヤーのelement-wise addition 
-フィルターの寸法(filter dimension)による2レイヤーconcatenation 
なお、結合時の入力サイズを同一にするため、必要に応じて1x1 convolutionが挿入されます。 
上記手順をNormal CellとReduction Cellでブロック数分繰り返します（つまり1探索における出力は5ステップ∗ブロック数∗2セル5ステップ∗ブロック数∗2セルになります）。 
なお、3.と4.のフィルター数は以下の方式で可変で決めます。 
最初のレイヤーのフィルター数を任意に設定し、以降はReduction Cellで前レイヤーの2倍のフィルター数、Normal Cellでは前レイヤーと同数のフィルター数とする。 
Controller RNNは1レイヤーのLSTMとし、隠れレイヤー100、出力は5ステップ∗ブロック数∗2セル5ステップ∗ブロック数∗2セルという構成です。出力はSoftmaxで推論しています。 
なお、NASNetはController RNNを方策勾配法ではなくProximal Policy Optimization(PPO)で学習し、高速化と安定をはかっています。 
Cifar10とImageNetでの検証 
検証ではブロック数を5に固定して探索しています（つまり1探索における出力は5ステップ∗5ブロック∗2セル5ステップ∗5ブロック∗2セルになります）。 
NASNetではニューラルネットワーク自体のレイヤー数や順番（＝Normal Cell数、Reduction Cell数、その順番）や、最初のレイヤーのフィルター数は手動で設計します。 
論文の検証では、Cifar10やImageNetのニューラルネットワークで、Normal Cellの繰り返し数を下図のようにして検証しています。

![](https://aihack.aijobcolle.com/p/ynsnipaufeh6f3k6imfh-f8f80fae.png)
 
検証ではCifar10でNormal Cell、Reduction Cellの構造を探索し、そこで最適化されたセルをImageNetに適用するという手順をとっています。Cifar10で得られたNormal CellとReduction Cellは以下のような構造になっています。

![](https://aihack.aijobcolle.com/p/ejo5bj5jjgfaj6r9v3gs-6c3e2843.jpg)

結果、NASNetは、公開された作品の中で、ImageNetで82.7％トップ1および96.2％トップ5の最先端の精度を達成。人間がこれまで発明した最高のアーキテクチャよりもトップ1の精度が1.2％優れていますが、要したFLOPSは90億少なく、以前の最先端モデルから計算需要が28％削減されています。

![](https://aihack.aijobcolle.com/p/z2ztbbym7uu6uh4vd3em-261c38b5.png)

AIの最新論文の読解（No.5）:Evolutionary AutoML　その2. NASNeT

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

噂のNotionですっきり、A…

PyTorchの躍進を紐解く３…

いいね！ランキング

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

深層学習はシステム1からシステム2へ

自己教師あり可逆性対応の強化学習（AIの…

深層強化学習によるチップ設計の自動化（A…

ユーザーランキング

タグランキング

深層学習

deeplearning

ディープラーニング

AI

Transformer