2021/09/13 2021/09/13

ALIGN：視覚と言語の表現学習２（AI最新論文読解No.16）

アクセス: 23

コメント: 0

ALIGNは、強力な画像特徴表現モデルでもあります。 以下に示すように、固定した特徴表現を使用すると、ALIGNはCLIPをわずかに上回り、ImageNetで85.5%のtop1精度のSotAスコアを達成します。
ファインチューニングにより、ALIGNはBiTやViTなどのほとんどの汎用モデルよりも高い精度を実現します。ImageNetトレーニングと大規模なラベルなしデータ間のより深い相互作用を必要とするMeta Pseudo Labelsよりも劣るだけです。
![](https://aihack.aijobcolle.com/p/hwkk9cp3bk6y9kjrkn4t-58f201e9.png)
**ゼロショット画像分類**
従来、画像分類の問題は各クラスを独立したIDで扱い、クラス毎にある程度の数のラベル付きデータを用意して少なくとも数回、分類レイヤーをトレーニングする必要があります。しかし、クラス名は実際には自然言語のフレーズであるため、トレーニングデータが存在しなくても、画像分類のためにALIGNの画像対文章検索機能に自然に拡張できます。
![](https://aihack.aijobcolle.com/p/vros7ots7dn6nwxonb34-50767659.png)
図１．ゼロショット画像分類
ALIGNは76.4%のtop1ゼロショット精度を達成し、分布シフト(distribution shifts)を伴うImageNetの様々な亜種のデータに対しても優れた堅牢性を示します。CLIPと同様にテキストプロンプトエンジニアリングとアンサンブルを使用しました。
![](https://aihack.aijobcolle.com/p/suozdnnkb4k5sbm36cg5-32480511.png)

**画像検索での応用**
上記の定量的な結果を説明するために、ALIGNによってトレーニングされたembeddingsを使用して単純な画像検索システムを構築しました。以下では1億6000万枚の画像に対してテキストを使って検索してTOPに表示された例を紹介します。
ALIGNは、風景の詳細な説明、または固有地形や芸術作品などのきめ細かいまたは実体レベルの概念を指定して、正確な画像を検索できます。これらの例は、ALIGNモデルが画像とテキストを同様の意味的観点に揃えることができ、ALIGNが新しい複雑な概念に一般化できることを示しています。

![](https://aihack.aijobcolle.com/p/ow4poop25yyzng4o8xam-13e35295.png)
図２．ALIGN検索システムの出力の例

**複数の入力形式(画像+テキスト)を使って画像を検索**
単語ベクトルの特性は、単語の類似性がベクトル演算でも実現できることです。有名な例には単語を使った演算「王 － 男 ＋ 女 ＝ 女王」があります。ALIGNでも画像とテキストのembeddingsの間にこのような線形関係が発生しました。具体的には、入力に与えられた画像とテキストの文字列を指定して、それらのALIGN embeddingsを検索に追加し、それを使用して、以下に示すように、コサイン類似度を使用して関連する画像を取得します。これらの例は、視覚および言語領域全体でのALIGN embeddingsの構成性を示すだけでなく、画像とテキストを一緒に使用した検索(マルチモーダル検索)の実現可能性も示しています。例えば、パンダに相当する動物を「オーストラリア」または「マダガスカル」から探したり、「黒い靴」を同じように見える「ベージュの靴」に色合いを変えたりすることができます。また、以下に示すように、embeddings空間で減算を実行することにより、風景内から物体/属性を削除することもできます。
![](https://aihack.aijobcolle.com/p/aofbhpeefv9r6diw59j5-95fc7b81.png)
図３．画像とテキストを使った画像検索

**社会的影響と将来の研究**
本研究は、単純なデータ収集方法を使用した方法論の観点から有望な結果を示していますが、実際にモデルを責任を持って使用する前に、データと結果のモデルの追加分析が必要です。例えば、altテキスト内に有害なテキストデータが存在し、その有害性が強化される可能性について検討する必要があります。公平性に関しては、Webデータがステレオタイプを強化することを防ぐために、データバランシングの取り組みが必要になる場合があります。また、誤ってラベル付けされた可能性のあるデータからの影響を理解して軽減するために、注意を要する宗教的または文化的項目に関する追加のテストとトレーニングを行う必要があります。人間および関連する文化的アイテム(衣類、食品、芸術など)の人口統計学的分布が、モデルのパフォーマンスを歪めないようにするために、更に分析を行う必要があります。このようなモデルを本番環境で使用する場合は、分析とバランス調整が必要になります。

ALIGN：視覚と言語の表現学習２（AI最新論文読解No.16）

人気記事ランキング

YOLOv5 登場！このプロ…

噂のNotionですっきり、A…

PyTorchの躍進を紐解く３…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

いいね！ランキング

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

深層学習はシステム1からシステム2へ

なぜZoomは40分で切れるのか？

DETR : transformerが組み込まれた物体検…

ユーザーランキング

タグランキング

深層学習

ディープラーニング

AI

deeplearning

Transformer