2022/12/12 2022/12/12

Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding（AI最新論文の読解　No.28-2）

アクセス: 180

コメント: 0

**学習の詳細**
言語モデルは事前学習済みのものを使っているので、新たに訓練する必要があるのは、拡散モデルを使った「テキスト→画像 (2B, text-to-image)」モデルと、２つの超解像モデル (1. 600M, 64×64->256×256, 2.400M, 256×256->1024×1024) です。なお、256×256->1024×1024 の超解像は、1024×1024の画像をクロップした画像で 64×64->256×256 の超解像を介して学習させます。使用するデータセットは、Google 社内で持っている 4.6 億のテキスト・画像のペアデータセットと、4 億のテキスト・画像のペアを含む Laion データセット (Schuhmann et al, 2021)、合計 8.6 億のテキスト・画像のペアデータセットで学習をしています。

**他手法との比較**

![](https://aihack.aijobcolle.com/p/jkgomvihzhno5xmzk86k-821ffa9e.png)

DALL·E 2 は少し複雑なアーキテクチャになっています。与えられたテキストに整合するような CLIP の画像特徴量を求めるために、拡散モデルベースの事前分布を学習させます。画像の埋め込みを生成する「事前分布 (prior)」や、埋め込みから画像自体を生成する「デコーダー (decoder)」があり、CLIP による画像埋め込みも必要です。ここでは割愛しますが、詳しく知りたい方は、以前の記事を参照願います。Imagen の方が、DALL·E 2 よりも単純な機構で画像を生成できていると言えそうです。

次に定量評価です。 DrawBench を使った人による評価 (2つのモデルが生成した画像を見て、どちらが優れているかを回答) です。 DALL·E 2 や VQGAN+CLIP など SNS 上で非常に話題になった手法と比較しても優れた生成結果を出していることがわかります。

Imagenによって生成された画像のサンプルです
![](https://aihack.aijobcolle.com/p/o5b47kvkd45yuoy6dvej-36b7c88c.jpg)

**まとめ**
Imagen は、拡散モデルを使用したテキストから画像への生成のためのテキスト エンコーダーとして、大規模な事前トレーニング済み言語モデルの有効性を示しています。 全体的なパフォーマンスに対し、これらの言語モデルのサイズをスケーリングすることは、 U Net サイズをスケーリングすることよりも、はるかに大きな影響を与えるということが観察されました。また、さらに、Imagen を通じて、分類器を使用しない誘導重みの重要性を強調され、以前の研究で見られたよりもはるかに高い誘導の重みを使用できるようにする動的閾値を導入しました。これらの新しいコンポーネントにより、Imagen は前例のないフォトリアリズムとテキストとの整合性を備えた 1024 × 1024 サンプルを生成しました。

Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding（AI最新論文の読解　No.28-2）

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

PyTorchの躍進を紐解く３…

勾配法と学習率

いいね！ランキング

深層学習はシステム1からシステム2へ

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

なぜZoomは40分で切れるのか？

論文要約

ユーザーランキング

タグランキング

深層学習

AI

deeplearning

ディープラーニング

Transformer