2020/12/14 2020/12/15

新しいの画像認識モデル Self-Attention for image recognition（AIの最新論文読解 No.9）

アクセス: 452

コメント: 0

CNNではなくSelf-Attentionを全面的に使った新しい画像認識モデル　Self-Attention for image　（”<a href="https://arxiv.org/pdf/2004.13621.pdf">Exploring Self-attention for Image Recognition</a>” (Zhao. H, CVPR 2020)）について解説します。 
近年の自然言語処理のエポックメイキングな成果は、文章理解のBERTとそれの基本構造であるTransformerだと思われます。NLPで用いられていたRNNのSeq2Seqにおける補助的な辞書機能を果たしていたAttention機構が、RNNを廃止して、全面的に取り入れられたのがTransformerでした。このとき、Source Target Attention とSelf-Attentionが文章理解の力を大きく向上させ、人の認識のベースラインを越えた精度を出し大きな話題になりました。このAttentionが、CNNがメインストリームである画像認識でも活用できるのではないか、と考えられ大きな結果を出したのがこの論文と考えられます。 1. Introduction 
CNNのネットワークは全て離散畳み込み演算を用いたもので、畳み込み演算∗ の式は以下のように定義されます。 <img height="54" src="/p/ngo3mncneii8sehs6p7e-1bbb9e08.png" style="width:751px;height:54px;" width="751" alt="ngo3mncneii8sehs6p7e-1bbb9e08.png" /> 
ここでF, kはそれぞれ離散関数および離散フィルターで、つまりFが画像でkがフィルター(カーネル)のことです。畳み込みの特徴は、画像F全体に同じフィルターkが適用されることにありますが、このとき畳み込み演算は画像の回転に対して弱かったり、フィルターサイズが大きくなるとそれに伴ってパラメータ数も増えてしまうこと、カーネルよりも外側にある情報を取り込むことはできないこと、等いくつもの制限があります。このようなCNNで画像認識モデルを作成することは最適な手法なのでしょうか。 ２．Related works 
coming soon... ３．Self Attention Networks 
　この研究では、いろいろな種類のSelf-Attention（SA）を考案し、それぞれが画像認識モデルとして活用できるかどうかを検討しています。このときPairwise Self-AttentionとPatchwise Self-Attention、の2つに大別されます。 
３−１．Pairwise Self-Attention <img height="58" src="/p/pdbivphjcxhr3m4t7bhu-5a25c3bf.png" style="width:738px;height:58px;" width="738" alt="pdbivphjcxhr3m4t7bhu-5a25c3bf.png" /> <img height="42" src="/p/3kx56e33g4yvkx7tymgr-1c307386.png" style="width:731px;height:42px;" width="731" alt="3kx56e33g4yvkx7tymgr-1c307386.png" /> 
上式で、位置iの特徴ベクトルyiは周囲の要素R(i)の特徴ベクトルβ(xj)をα(xi,xj)の値で線形和を取る、ということです。βはxiをPointwise 畳み込みを行う関数です。αとは、βを線形和するための係数を決定する関数で以下の５つを上げています。 <img height="161" src="/p/7usgvzooo8txna4yyt7e-e3493aef.png" style="width:713px;height:161px;" width="713" alt="7usgvzooo8txna4yyt7e-e3493aef.png" /> 
ちなみに、Transformerでは、Dot Product（内積）でしたが、この論文では他の汎用的な演算も候補に入れているということです。また、最後にPosition encodingとして、δ(xi,xj)の出力に[pi−pj]ベクトルを連結させることで、位置情報を特徴マップに付加します。 ３−２．Patchwise Self-Attention <img height="60" src="/p/remboe64ztuz2au98w98-ddfaa9eb.png" style="width:733px;height:60px;" width="733" alt="remboe64ztuz2au98w98-ddfaa9eb.png" /> 
β(xj)の線形和の重み係数α(⋅)はPatchの全ての値から一度に決まることで、Pairwiseと同じくαはγ(δ(xR(i)))と分解され、δ(⋅)が重要な関係関数 です。ここで考えられている関係関数は以下の3つです。 <img height="119" src="/p/egprjdbng8h8kgth8rwn-849c187d.jpg" style="width:920px;height:119px;" width="920" alt="egprjdbng8h8kgth8rwn-849c187d.jpg" /> ３−３．Self-Attentkion ブロック 
これがSelf-Attention ブロックの全体像になります。 
まずチャネル数Cの入力Tensorが3つに分かれています。右は通常のResidual Blockのようなスキップ結合です。左は重みαの計算で、中央はβによる線形変換です。ここで、αとβでの計算ではチャネル数をCr1やCr2のように削減させています。続いてaggregationでαとβの要素積と和を行なうことでSelf-Attentionが終了します。その後にBN、ReLUや線形変換を行ってチャネル数Cに戻してスキップ結合とAddします。 <img height="343" src="/p/hg6tjn8gpv4tdvtedwtu-055d0329.png" style="width:832px;height:343px;" width="832" alt="hg6tjn8gpv4tdvtedwtu-055d0329.png" /> ３−４．ネットワークのアーキテクチャ 
以下の通りです。詳細はチャート下の説明参照 <img height="296" src="/p/ehwg6roryyj446ye34bz-27e0a3a8.png" style="width:802px;height:296px;" width="802" alt="ehwg6roryyj446ye34bz-27e0a3a8.png" /> ４．Comparison 
(omission) ５．Experiments 
5.1 parameter  (omission) 
5.2 Comparison to Convolutional Networks 
Pairwise/Patchwise SA ともにCNNを精度を上回っていることが分かります。さらに、パラメータ数、Flops数ともにCNNより低くなっています。 これを見る限り、SAはCNNを凌駕しています。 <img height="187" src="/p/8y9iyyyxp2exw65xa6yi-398d09b6.jpg" style="width:920px;height:187px;" width="920" alt="8y9iyyyxp2exw65xa6yi-398d09b6.jpg" /> 
5.3. Controlled Experiments <img height="262" src="/p/38dkghao4w3wfipybfiu-79f2df38.png" style="width:662px;height:262px;" width="662" alt="38dkghao4w3wfipybfiu-79f2df38.png" /> 
この結果からは、内積（dot product）スカラーAttentionよりも、sum/subtraction/Had. productのようなベクトルAttentionの方がスコアが良いということが言えます。 <img height="230" src="/p/iesm6u26bp4nmhtpwj6y-f2c95664.png" style="width:720px;height:230px;" width="720" alt="iesm6u26bp4nmhtpwj6y-f2c95664.png" /> 
φ, β, ψは同じではなく別々に定義したほうが良いことが分かります。 <img height="275" src="/p/byxuyhy3f5774hsv8rx6-634f5741.png" style="width:677px;height:275px;" width="677" alt="byxuyhy3f5774hsv8rx6-634f5741.png" /> 
周囲の点Riの値を7x7より大きくしても精度は頭打ち、なので7x7がよい、というサジェッションが得られました。 <img height="179" src="/p/78ns6g8r2ukr9nh8if6e-b7550f57.png" style="width:729px;height:179px;" width="729" alt="78ns6g8r2ukr9nh8if6e-b7550f57.png" /> 
位置エンコーディング（SAに位置情報を入れ込む）は効果的であること、その中でも相対位置が良いことが分かります。 <img height="360" src="/p/ywo8evu68dixwseko7g4-8e032576.jpg" style="width:920px;height:360px;" width="920" alt="ywo8evu68dixwseko7g4-8e032576.jpg" /> 
SAはResNetと比較してアドバーサリアル攻撃に強い＝ロバストであるということが分かります。 
６．結論 
ベクトルAttentionの概念によるSelf-AttentionはCNNを置換する可能性があること、特にPatchwise SAが有力である、と結論づけています。

新しいの画像認識モデル Self-Attention for image recognition（AIの最新論文読解 No.9）

人気記事ランキング

YOLOv5 登場！このプロ…

噂のNotionですっきり、A…

PyTorchの躍進を紐解く３…

深層学習はシステム1から…

XGBoost（GBDT）とランダ…

いいね！ランキング

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

深層学習はシステム1からシステム2へ

なぜZoomは40分で切れるのか？

DETR : transformerが組み込まれた物体検…

ユーザーランキング

タグランキング

深層学習

ディープラーニング

AI

deeplearning

Transformer