2021/06/14 2021/07/05

Pay Attention to MLPs（AI最新論文読解No.15-1）

アクセス: 83

コメント: 0

Google Brainの最新論文である"Pay Attention to MLPs" https://arxiv.org/abs/2105.08050 について読解する。 
 
**モチベーション**
Transformerは、ディープラーニングにおける最も重要でベースとなるアーキテクチャのの１つになり、過去数年間に渡って特に自然言語処理において、またComputer Vision（CV）でもデファクトスタンダードになりつつあります。その中、実際にTransformer、特にAttention機構は本当に必要不可欠な機構であるのか、という疑問から、Attention 機構が実現している重要な２つのコンセプト、１．再帰的ではなく並列処理できるアーキテクチャであること、２．トークン間の空間情報を取得すること、が他のアーキテクチャで可能になった場合においても、Attention 機構が優位性を持てるのか、ということを実験によって確かめることがモチベーションになります。

**方法**
今回、ゲーティングを備えたMLP（Multi Layer Perceptron）に基づく単純なネットワークアーキテクチャであるgMLPを提案されましたが、このgMLPによって前述のAttention機構の重要な２つのコンセプトを実装することができます。そのため、Attention機構をわざわざモデルに組み込む必要性があるとしたら、それ以外のAttention機構特有のメリットがタスクの精度を大きく左右している場合のみと言えます。
Attention機構特有のメリットして、入力データの表現に基づいた動的なパラメータの決定により有効な帰納バイアス（モデルが遭遇していない特定の入力の出力を予測するために使用する一連の仮定のこと）を導入できる、というものがあります。一方で、ｇMLPのようなMLPが持つメリットは静的なパラメータの決定により任意の関数を表現できる、というものがあります。つまり、Attention機構が必要不可欠か否かは、モデルにAttention機構によって獲得できる帰納バイアスの導入がMLPの関数表現力よりも有効であるかどうか、検証することで分かります。

**モデル**
ｇMLP:
gMLPは、Attention機構が実現しているコンセプトのうち、特に２．トークン間の空間情報を取得する、を獲得するために、様々な工夫が行われています。そのためにgMLP-blockを構築し、それをL層分、積み重ねることで適切な特徴量を獲得できるようにしています。特にこのgMLP-blockにおけるSpatial Gating Unit（SGU）がgMLPで最も工夫された点にあります。

gMLP-block:
gMLP-blockは以下のように、線形射影と活性化関数を組み合わせて出力した値 ⑴に対して、Spatial Gating Unit（SGU）⑵ を用いることで、トークン間の空間情報を取得しています。その後、再び線形射影 ⑶ を行うことで必要な特徴量を獲得しています。Transformerのようにポジションエンベディング層を利用していません。Transformerではポジションエンベディング層を利用することで、画像や文章のトークンがそれらのどこからきたのかを把握していましたが、gMLPではSGUがそのような情報を取得してくれます。

![](https://aihack.aijobcolle.com/p/d2ftmihn4yb5eagrcazu-11faf469.png)

>(1) Z = σ(XU) 
>(2) Z˜ = s(Z) 
>(3) Y = Z˜V

Spatial Gating Unit:
トークン間の空間情報の取得のために開発されたのがSpatial Gating Unitです。

最もシンプルな方法として、データ長の行列を持つWを用いて線形射影をするという手法が考えられます

>(4)　f*W,b*(Z) = W Z + b

これに加えて、元の入力（Z）と空間的に転移された入力（fw,b(Z)）同士の要素積を取ることで、より適切な空間情報を獲得しました。
>(5)　s(Z) = Z ・f*W,b*(Z)

なお、このとき「学習初期のWはほとんど０で、バイアスは１であること」が重要であることが分かりました。これは学習の初期は線形射影がほぼ恒等写像のような状況になることを意味していて、この初期値にすることで、gMLP-blockが学習初期（各トークンが個別に処理されているとき）はTransformerのFeed-Forward Network のように機能します。そして、徐々にトークン間の空間情報が差し込まれていくことになります。

この乗法ゲーティング（SGU）は、空間信号を使用して個々のトークン表現を「変調」するメカニズムと見なすことができるとしています。つまり、言い換えれば、Zの各要素の大きさは、ゲーティング関数に従って迅速に調整できるということです。そして、この（５）に入力値を分割して利用する手法を組み込んだのが、最終形の（６）になります。
>(6)　s(Z) = Z1・f*W,b*(Z2)

**画像分類**
ImageNetを利用した画像分類タスクの精度を、Vision Transformer（ViT）とDeiT（ViTの改良版）及び、CNNモデルと比較しました。gMLPはDeiTなどと同様に強く過学習してしまう傾向が見られたため、DeiTと同様の手法を用いた正則化が行われています。

![](https://aihack.aijobcolle.com/p/573vunpw6fggr2b5tihr-e3a521da.png)

結果：
DeiTとあまり変わらない結果が得られました。また、gMLPは直前に提出されたほかのMLP系の新モデルよりもよい精度が出せています。このことから、gMLPはTransformer同様のデータ効率性があると考えることができます。また、それ以上に既存のCNNモデルの方がよい精度を出しているということも注目に値します。
![](https://aihack.aijobcolle.com/p/9pzb8okmcmb2oewyotr3-3964c9bc.png)
なお、下記の右図で示されているようにgMLPの空間射影行列を可視化したところ、CNNのような局所不変性と空間不変性が確認されました。つまり、*各空間射影行列では、データ駆動型の不規則な（非正方形な）カーネルを用いて畳み込みを実行することを効果的に学習しているとも言えます*
![](https://aihack.aijobcolle.com/p/gubgpa7facj7nbmbk83u-88d7e8af.png)

Pay Attention to MLPs（AI最新論文読解No.15-1）

人気記事ランキング

YOLOv5 登場！このプロ…

噂のNotionですっきり、A…

PyTorchの躍進を紐解く３…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

いいね！ランキング

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

深層学習はシステム1からシステム2へ

深層強化学習によるチップ設計の自動化（A…

なぜZoomは40分で切れるのか？

深層強化学習によるチップ設計の自動化（A…

自己教師あり可逆性対応の強化学習（AIの…

Pay Attention to MLPs（AI最新論文読解No…

Pay Attention to MLPs（AI最新論文読解No…

何故Affineレイヤの逆伝播では行列を転置…

ユーザーランキング

タグランキング

深層学習

ディープラーニング

AI

deeplearning

Transformer