2022/06/13 2022/06/13

MetaFormer is Actually What You Need for Vision（AIの最新論文の読解、No.21-1）

アクセス: 260

コメント: 0

"MetaFormer is Actually What You Need for Vision" (https://arxiv.org/abs/2111.11418) 　について概説する。

2021年のAI研究の注目トピックの1つは、Vision Transformerでした。これは、さまざまなタスクでSOTAを更新しました。

Fig.1 の右側にあるアーキテクチャにあるように、 一般的にトランスフォーマー構造へのAttentionは、トークン情報のミキシングが重要な部分であると考えられています。よって、Attentionの計算の複雑さO（N ^ 2）がボトルネックになるため、計算の複雑さを軽減するために多くの研究が行われてきました。

![](https://aihack.aijobcolle.com/p/ob69c8477kiwtby5eg8r-edfde131.png)

しかし、2021年3月、Googleの研究者は、注意ではなくMLPを使用するだけでSOTAのような精度を達成できることを明らかにしました。（https://arxiv.org/abs/2105.08050）。 その後、MLPを使用したTransformerの研究がますます普及しました。

**MetaFormer**
この論文は、「トークン情報のミキシングのアーキテクチャがViTの成功の鍵なのか」という質問に答えようとするものです。
図（a）に示すように、MetaFormerと呼ばれる新しい概念を提案しました。
![](https://aihack.aijobcolle.com/p/57nnfu6pj4yunjvhekje-0ce82203.png)

MetaFormerはアーキテクチャの概念であり、具体的な特定のアーキテクチャではありません。言い換えれば、（a）のMetaFormerに示されているメタ構造を満たすすべての構造、たとえば、これまでに研究されたAttention構造を使用するTransformer、MLPを使用するMLPのようなモデル、および この研究で提案されたPooling層は、すべてMetaFormersと呼ばれます。
MetaFormerは非常にシンプルです。 まず、入力Iに対してパッチ埋め込みを実行してXを取得します（式1）。
![](https://aihack.aijobcolle.com/p/8yz6nsyjzgvcj7jsr3ow-f128deee.png)
次に、Xを正規化しトークンミキサーに入力します。トークンミキサーは、Xの各パッチ間で情報を融合します。残差接続を使用してYを取得します（式2）。
![](https://aihack.aijobcolle.com/p/v3vzns4sbgwbdt6vf7ud-d0d37692.png)
さらに、Yを正則化し、MLPおよび活性化関数を通過させた後、入力と出力は残余接続によって接続されます（式3）。
![](https://aihack.aijobcolle.com/p/7f2ho7fih8phje6i4jzo-a0187be0.png)

**PoolFormer**
MetaFormerは、Python言語の抽象クラスの概念に類似しています。 PoolFormerは、（式2）のTokenMixerのプーリングレイヤー実装であり、MetaFormerのインスタンス化の1つにすぎません。

![](https://aihack.aijobcolle.com/p/axk4ihvz3puzdvht5f5w-0bc85349.png)
Poolingは、K*K値の平均を出力するだけです。 ただし（式4）の最後のTの減算は、後で実行される残りの接続（式2の+ X）を調整することを目的としています。 式4からわかるように、O（N ^ 2）Attentionの初期の計算の複雑さを、パラメーターを学習せずにPoolingに置き換えました。

![](https://aihack.aijobcolle.com/p/htgbrb7d44n788swsgp7-f5335573.png)
![](https://aihack.aijobcolle.com/p/cdmowo5pum8ztt26uomf-7424e570.jpg)

MetaFormer is Actually What You Need for Vision（AIの最新論文の読解、No.21-1）

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

PyTorchの躍進を紐解く３…

勾配法と学習率

いいね！ランキング

深層学習はシステム1からシステム2へ

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

なぜZoomは40分で切れるのか？

論文要約

ユーザーランキング

タグランキング

深層学習

AI

deeplearning

ディープラーニング

Transformer