2022/06/13 2022/06/13

MetaFormer is Actually What You Need for Vision（AIの最新論文の読解、No.21-2）

アクセス: 160

コメント: 0

**Experiment: Validating the effectiveness of MetaFormer**

**Image classification**
この実験では、4つの異なるデータ拡張機能（MixUp、CutMix、CutOut、およびRandAugment）を備えたImageNet-1K（130万のトレーニング画像と50Kの検証画像を含む1K分類）を使用しました。 レート=0.05、バッチサイズ= 4096、学習レートlr = 0.001*バッチサイズ/1024、300エポックをトレーニングしました。 また、ウォームアップエポック= 5のコサインスケジュールを使用して学習率を減衰させました。

![](https://aihack.aijobcolle.com/p/ftcre7b3dhcro8bct4ws-d24d8909.jpg)

表2に示すように、実験結果は明確になりました。ここでは、トークンミキサーごとにモデルをグループ化しています。 モデルをトークンミキサーでグループ化し、評価指標はパラメーター（M）、MACs（積和演算、G）、およびトップ1の精度（％）です。 RSB-ResNetは、300エポックでトレーニングされた「ResNetStrikesBack」トレーニング方法の改良版です。
表2の最後のブロックでは、少数のパラメーターで高精度を達成できることを示しています。 たとえば、21Mおよび31Mのパラメーターを持つ小さなPoolFormerでさえ、80.3％および81.4％のTop-1精度を達成し、多くのAttentionベースおよびMLPベースのMetaformerを上回ります。さらに、図3の視覚化から、PoolFormerは、計算MACとパラメーターを減らしながら、比較方法よりも高い精度を達成していることが明らかです。
![](https://aihack.aijobcolle.com/p/9pkikbjaru7kj8ws7o3t-00874174.jpg)

結論として 「トークン情報のミキシングは重要ではない」という衝撃的なもので、この恥ずかしいほど単純な（著者は恥ずかしいほど単純なものとして説明している）PoolFormerの有効性は、いくつかの実験を通じて明らかにされていました。
![](https://aihack.aijobcolle.com/p/fuhpsa89u47x57ftis9d-99592cd6.jpg)

![](https://aihack.aijobcolle.com/p/56w74thni9waxnxtpoje-72a0ef15.png)
![](https://aihack.aijobcolle.com/p/f7vjnt6kd6wcpz6b4kku-b24b739e.jpg)

MetaFormer is Actually What You Need for Vision（AIの最新論文の読解、No.21-2）

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

PyTorchの躍進を紐解く３…

勾配法と学習率

いいね！ランキング

深層学習はシステム1からシステム2へ

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

なぜZoomは40分で切れるのか？

論文要約

ユーザーランキング

タグランキング

深層学習

AI

deeplearning

ディープラーニング

Transformer