2020/10/24 2020/10/24

DETR : transformerが組み込まれた物体検出モデルです！

アクセス: 1158

コメント: 0

<img height="613" src="/p/kfwbbxdpdp6dn63i2wfg-7c734399.jpg" style="width:920px;height:613px;" width="920" alt="kfwbbxdpdp6dn63i2wfg-7c734399.jpg" /> 
今日はまた新しい物体検出モデルをご紹介したいと思います。”End-to-End Object Detection with Transformers”のタイトルの<a href="https://arxiv.org/abs/2005.12872">論文</a> (1)が2020年5月にFacebook AIより公開されました。CNNとTransformerを組み合わせたモデルで、革新的な構造になってます。私の知る限り手軽に楽しめる最初のTransformer型物体検出モデルだと思います。今回も直感的な説明で５分で読める内容にまとめてますので、楽しんで読んで頂けたらと思います。
 
 
１、CNNとTransformerの組み合わせ

以下の図がDETRにおける情報の流れを示してます。ちなみにDERTとは "DEtection TRansformer"の略です。

画像はまず、CNNと呼ばれる画像認識系のAIでは一般的に使われているモデルに取込まれます。そこから情報はTransformerに流れていきます。ここは非常に画期的にユニークな構造です。最後にclass（それが何であるかを示す）とbounding box（色の付いた枠、それがどの位置にあるかを示す）を予測し、実際の正解データと比較して、その違いが最小になるようにモデルを訓練します。訓練手法の詳細については論文を参照して下さい。
 
 
２、DETRはシンプル！

以下の図がDETRの全体像です。物体検出モデルとしてはとてもシンプルですね。大きく分けて1.backbone  2.encoder  3.decoder  4.prediction-headとなり２と３の部分でtransformerが使われてます。これは前回の記事でご紹介した2017年公開済のオリジナルのtransformerとよく似てますので、transformerの仕組み全体を学ぶのにも良い機会になります。

まず、１のbackboneで２次元の画像を取り込み１次元の特徴量ベクトルに変換します。これは画像認識モデルでよく行われているものと同じです。ただし１次元だと位置がわからなくなるので、位置を示すpositional encodingを付加しています。２のencoderで取り込んだ特徴量ベクトルをattentionにかけていきます。attentionは前回の記事で学んだものと同じです。３のdecoderでobject queriesを取り込み、encoderから出力されたベクトルと一緒にattentionにかけます。このあたりに精度が高い秘密がありそうです。後ほど詳しく調べてみたいと思います。４で各object queriesのdecoderからの出力をFFNに取り込んでclassとbounding boxを算出する、といった構成になっているようです。
 
 
３．DETRでもattentionが大活躍です

以下の図はDETRの詳細なメカニズムです。attentionがあちこちに配置されていることがわかります。DETRが高性能を発揮できるのもこれらattentionに負うところが多いものと考えられます。特に赤い矢印のattentionに注目して下さい。Vはvalue、Kはkey、Qはqueryを表しています（詳しい説明は前回の記事を参照して下さい）。VとKはもとの画像からの情報を持っており、Qは新たに追加したobject queriesからできたものです。つまり複数あるobject queriesはもとの画像をいろんな角度や観点から眺めて、重要であると考えられた情報に重みを置いて情報を取り込んでいきます。object queriesは複数あるので、あるQでは重要でなかった情報も別のQでは重要と考えられて、大きい重みを付加します。結果的に画像の様々な部分を効率的に取り込むことができ、それらをもとに最後のprediction-headでそれが何であるか（例では鳥）、また画像のどこに位置するのかを算出することが可能になる訳です。うまくできてますね。

以上、今回はDETRと呼ばれるtransformerによる物体検出モデルの論文をレビューしました。興味を持たれた方は是非、原文もあわせて読んでみて下さい。次回はこのDETRモデルを使って実際にcolab上で物体検出を行ってみたいと思います。またお会いしましょう。 (1)  “End-to-End Object Detection with Transformers”　Nicolas Carion , Francisco Massa?, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko, Facebook AI, May 2020 
 
notification：この記事はAI技術に関するあくまで個人的な感想を述べたものであり、正確性を担保するものではありません。ToshiStats株式会社および私は、本書に含まれる資料、指示、方法、アルゴリズムまたはアイデアを使用すること、または結果として行動することまたは行動することを控えることにより、人または財産に生じた損失または損害について一切の責任または義務を負いません。 ToshiStats株式会社および私は、商品性または特定の目的への適合性を含め、すべての黙示の保証を明示的に否認します。 コードやソフトウェアの誤りや欠陥を修正する義務は、ToshiStats株式会社および私にはありません。

DETR : transformerが組み込まれた物体検出モデルです！

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

PyTorchの躍進を紐解く３…

噂のNotionですっきり、A…

いいね！ランキング

深層学習はシステム1からシステム2へ

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

なぜZoomは40分で切れるのか？

論文要約

自分たちの手でAIを作る時代がもうすぐ来…

AIは、私たちの言葉を理解するエージェン…

ユーザーランキング

タグランキング

深層学習

AI

deeplearning

ディープラーニング

Transformer