2020/10/20 2020/10/20

5分でわかるTransformer入門

アクセス: 274

コメント: 0

<img height="613" src="/p/ayvwntcmi8wjny66wna7-95aba1df.jpg" style="width:920px;height:613px;" width="920" alt="ayvwntcmi8wjny66wna7-95aba1df.jpg" />前回のブログ記事でTransformerを少しだけご紹介しました。今後いろんなところで活躍しそうなモデルですから、一度を復習も兼ねて、まとめてみたいと思います。もし皆様がはじめてTransformerという言葉を聞いたとしても、理解頂けるようにできるだけ直感的に説明していきたいと思います。それでは早速はじめましょう。
 
 
１、Transformerのデビュー

今では大変有名になりましたが、2017年6月に公開された論文”<a href="https://arxiv.org/abs/1706.03762">attention all you need</a>”で、Transformerが世の中にでました。当初はその構造が大変目新しく、その重要性がなかなか理解できませんでした。私も当時論文を読んだり、公開されていたcodeを試す機会もありましたが、残念ながらよくわからなかったというのが実感です。このモデルを実行できるだけの高性能ハードウェアも一般的に普及していなかったこともあるかと思います。ただし論文タイトルにありますattentionと呼ばれている機構は既に自然言語処理分野で使われていて、理解できないながらも、なんとなく気になるモデルではあったと記憶しています。以下のチャートはattentionの構造を図解しています。

Attention Is All You Need   <a href="https://arxiv.org/abs/1706.03762">https://arxiv.org/abs/1706.03762</a>
 
 
２、魔法のメカニズム　”attention”

“attention”という機構がはじめて世に出たのは、2014年9月公開の“Neural Machine Translation by Jointly Learning to Align and Translate“の<a href="https://arxiv.org/abs/1409.0473v7">論文</a>と考えられます。翻訳の精度をどうやって向上させるかというタスクに対して用いられています。ですからもともとattentionは自然言語処理の分野で考えられていた機構です。前回の記事でattentionは「どの情報にどれだけ注意を払って効率的に情報を取得するのが良いかを学習する方法・メカニズム」とご説明しました。今回はもう少し深堀りしてみたいと思います。鍵になるのが上記の図にあるQ, K, Vです。Qはquery、 Kはkey、 Vは valueを意味しています。

<img height="339" src="https://lh3.googleusercontent.com/nUo_m9w5R134wVX9qfl_-LgOgxPnjmHnirhJWLkDXCdXc-iwIyrGVWZ6qSZYmxCkzHmEHSvD0lww_RQlI09XUL3XtlHAkHnUVqpa35bmRfQIKpqKrRhI5hcBy7DT1z0reIskWlM" width="602" alt="nUo_m9w5R134wVX9qfl_-LgOgxPnjmHnirhJWLkDXCdXc-iwIyrGVWZ6qSZYmxCkzHmEHSvD0lww_RQlI09XUL3XtlHAkHnUVqpa35bmRfQIKpqKrRhI5hcBy7DT1z0reIskWlM" /> 
ここでは◯は言葉やピクセル等の情報を示しています。図のように、深層学習ではlayer1からlayer2への情報を伝達していきますが、その際互いに関連する情報（ここでは５つ）をどのように重み(w)を付けて伝達するかが重要です。直感的にご説明するとattentionではlayer1の各情報からkとvを計算、layer2の各情報からqを計算し、qと各kを掛けることにより各wを求めます。最後にそのwで重み付された各ｖを足し合わせて、layer2へ伝達します。図ではlayer2の真ん中の情報へどのような重みwでlayer1の各情報を伝達すれば良いかを示しています。layer2は５つ情報がありますので、同様な計算を計５回行うことになります。

参考までに論文にある最も基礎となる数式を載せておきます。より厳密かつ数理的な側面からattentionを理解したい方はぜひ挑戦してみて下さい。一つの数式で、言葉ではなかなか説明できない定義が可能になる良い例かと思います。

Attention Is All You Need   <a href="https://arxiv.org/abs/1706.03762">https://arxiv.org/abs/1706.03762</a>
 
 
３．これからTransformerはどこへいく？

上記の説明からもわかりますように、Transformerはベクトル化された情報をうまく効率的に取り込んで処理できる一般的なモデルと言えると思います。画像・映像や音声、時系列分析と様々な分野でその潜在能力を発揮できそうです。その欠点とも言える計算リソースを大量に消費する問題についても、アルゴリズムの改良が続いているので、近い将来解決される可能性があります。そうすればますますいろんなところでTransformerを目にすることになるでしょう。その日が来るのが楽しみですね。

それでは今日はこの辺で。次回も画像認識系のおはなしを続けてみたいと思います。またお会いしましょう。
 notification：この記事はAI技術に関するあくまで個人的な感想を述べたものであり、正確性を担保するものではありません。ToshiStats株式会社および私は、本書に含まれる資料、指示、方法、アルゴリズムまたはアイデアを使用すること、または結果として行動することまたは行動することを控えることにより、人または財産に生じた損失または損害について一切の責任または義務を負いません。 ToshiStats株式会社および私は、商品性または特定の目的への適合性を含め、すべての黙示の保証を明示的に否認します。 コードやソフトウェアの誤りや欠陥を修正する義務は、ToshiStats株式会社および私にはありません。

5分でわかるTransformer入門

人気記事ランキング

噂のNotionですっきり、A…

YOLOv5 登場！このプロ…

PyTorchの躍進を紐解く３…

深層学習はシステム1から…

XGBoost（GBDT）とランダ…

いいね！ランキング

AIにはPythonと微分と確率は欠かせない。

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

深層学習はシステム1からシステム2へ

なぜZoomは40分で切れるのか？

DETRで自動車の物体検出をやってみました！

DETR : transformerが組み込まれた物体検…

im2colに慣れるための最初の一歩　～何を…

DETRで自動車の物体検出をやってみました！

ユーザーランキング

タグランキング

深層学習

ディープラーニング

AI

deeplearning

Transformer