2022/12/12 2022/12/12

Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding（AI最新論文の読解　No.28-1）

アクセス: 83

コメント: 0

"Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding" (Google Research, 2022.5)を読み解く。

2022年5 月に Google Research から、テキストに忠実かつ写実的な画像を生成するモデル Imagen が発表されました。このImagenは、最近発表されたOpen AIのDALL·E 2 を生成品質で上回ったと各SNSで話題になりました。
このように、テキストから画像を生成する「テキスト→画像 (text-to-image)」の研究がとても活発です。

このImagen は拡散モデル (Diffusion model) を採用しています。

![](https://aihack.aijobcolle.com/p/gehmey49zxkkjzcmb5ez-6e98a995.jpg)

上の図では、画像の下に示したテキストを入力とし、その上の画像を生成させています。このように、人の手によって作られた・撮られたと言っても遜色ない画像を、テキストから忠実に再現することができます。

**ネットワーク構造の概観**
Imagen では、以下 3 つのプロセスを経て画像を生成します (下図)。後述するように、先行研究の DALL·E 2 (Ramesh et al., 2022) と比較すると単純なモデルになっています。

下図にあるように、まずはテキストをパラメータを固定したテキストエンコーダー (Frozen Text Encoder) に入力します。テキストの特徴量ベクトルを得て、次工程の「テキスト→画像」モデル (Text-to-Image Diffusion Model) に入力します。ここでのテキストエンコーダーは、T5 (Raffel et al., 2019) のような言語モデルが使われます。

次に、テキストから画像を生成するモデルに伝播させ、テキストをもとに 64×64 サイズの少し小さい画像を生成します。ここでの生成モデルは、拡散モデルが使われています。最後に 64×64 → 256×256 → 1024×1024 サイズと 2 回超解像モデルを通すことで画像の解像度を上げます。

![](https://aihack.aijobcolle.com/p/forpg4p5xfh52mk7ki75-a2372f72.jpg)

**高難易度な DrawBench データセットの提案と重みを固定した巨大言語モデルの使用**
ここでは、 テキストエンコーダーモデルの比較用に提案された難易度の高いデータセット DrawBench と、言語モデルを巨大化すると効率良く性能を向上できることを説明しています

Imagen の著者たちは、テキストエンコーダーとして、大規模な言語モデルを使っています。

テキストエンコーダーの候補としては、大きく分けて 2 つあります。１つ目は画像とテキストの対応が取れた訓練データを使って学習させた CLIP などのモデル、 ２つ目は BERT や T5 などの大量のテキストデータのみで学習した言語モデルです。著者らは、それらを MS COCO データセットと今回新しく提案した DrawBench データセットで実験し、テキストエンコーダーとしての性能を比較をしています。その結果を示したのが下図です。

![](https://aihack.aijobcolle.com/p/odig6x37carj2etj6uat-cf3f21f1.png)

まず、左側の MS COCO データセットにおける比較を見てみましょう。縦軸は FID (Fréchet inception distance) スコアで、学習済みモデルを使って生成した画像と元画像の分布の距離を測ることで性能を比較する評価指標です。（つまり、FIDはInception-v3モデルを使って、本物と生成された画像それぞれの埋め込み表現を計算し、それらの平均と共分散を比較し、その距離が近い、つまり値が小さいほど良いスコアということ）

MS COCO データセットでは、画像を説明する短いテキスト「キャプション」が画像データに付随しています。この実験では、そのキャプションから生成された画像とキャプション (テキスト) の「一致度」を計測し、比較しています。その「一致度」は、CLIP Score (Hessel et al., 2021) と呼ばれるもので計測されます。
CLIP Score は、Jack Hessel らが提案した画像とテキストの一致度を計測する手法で、CLIP を利用しています。CLIP は下図 (OpenAI のブログから引用) のように、画像とテキストのペアデータを用いて「画像とテキストのペア当てクイズ」をして学習します。この学習形式を対照学習 (contrastive learning) と呼び、形式は少し違えどコンピュータービジョン分野でも自己教師あり学習として事前学習にもよく使われている学習手法です。

MS COCO における T5 モデル系列のスコアや、CLIP のテキストエンコーダーを Imagen のテキストエンコーダーに使用した時のスコアを見てみましょう。モデル大規模化が高精度化に直結する近年の傾向に漏れず、T5 モデル系列ではモデルが大きくなるほど、CLIP Score と FID のトレードオフが改善しています。また、T5 モデル系列で最大の T5-XXL と CLIP のスコアが大凡一致していることがわかります。MS COCO の評価では、CLIP と言語モデルどちらが優れているかは断定できません。

新しく提案された DrawBench データセットにおけるスコア (上の b)がDrawBench データセットは、MS COCO より複雑なキャプションで物体生成を評価することを目的にしたデータセットです。 MS COCO ではプロンプトの種類が限られているため、モデル間の差異を容易に把握できないという問題がありました。DrawBench データセットは、異なる色、オブジェクトの数、空間関係、シーン内のテキスト、オブジェクト間の異質な関係を忠実に表現する能力を測定するための、11 カテゴリの計 600 のプロンプトが含まれています。プロンプトのサンプルと、それに従って Imagen で生成した画像の例が下図です。

![](https://aihack.aijobcolle.com/p/n2mi9ucz32faenfih6wr-4574f867.jpg)

MS COCO のデータと比較すると、「青い色をしたピザ ("A blue coloured pizza.")」 や 「微分積分学の授業で困っているヒグマの写真 ("A photo of a confused grizzly bear in calculus class.")」など、現実世界には存在しないような概念・状況を生成させるタスクが含まれています。後述するように、学習データは現実世界の画像とテキストのペアデータを使っているので、現実世界に存在しない概念を生成するタスクは、学習データに直接答えがないため難しいタスクになっていると言えます。

ここで改めて前掲のグラフ (上の b)をAlignment と Fidelity という評価指標があり、それぞれ「テキストと画像の生合成」「画像の忠実度 (画像が現実の画像のように写実的か) 」の2つの観点で、2つのモデルどちらが優れているかを比べた結果です。両方の評価指標において、 CLIP を使ったものより、 T5-XXL を使ったものの方が優れていることがわかります。

総じて、 MS COCO データセット (左) を使った評価では T5-XXL と CLIP の差がほぼありませんが、この論文で新しく提案した DrawBench データセットの評価 (右) では言語モデル T5-XXL が優位になっています。より難しいタスクである　DrawBench において、 CLIP よりも 巨大言語モデル T5-XXL の方が良いスコアを出している理由については、著者たちは学習テキストの量とモデルサイズについて指摘しています。 CLIP などの画像と言語両方を扱うモデルより、テキストのみで学習させたモデルの方が、より多くのテキストデータで学習されています。また、テキストエンコーダーのサイズもテキストのみで学習させるモデルの方がかなり大規模なものになります。これらにより、よりリッチなテキスト表現を学習できるとしています。

**パラメータを固定した言語モデルを巨大にすると性能が向上**
モデルの性能を向上させるために、モデルのパラメータ数を増やすことが多いですが、この論文ではテキストエンコーダーに使われている言語モデルのパラメータ数を増やす方が、後段の拡散モデル (U-Net) のサイズを大きくするよりも効果的だったと著者たちは述べています (下図) 。

![](https://aihack.aijobcolle.com/p/s9rmz5z8w7r5fz96d5kc-39565c28.jpg)

この図で示されているように、言語モデルのサイズを大きくすることは非常に性能の向上に大きく貢献しています (a)。一方、拡散モデル (U-net) のパラメータ数を増やすことはあまり効果がないようです (b)。

また、Imagen では、学習中にテキストエンコーダーのパラメーターを固定しています。テキストエンコーダーのパラメーターを固定することにより、計算コストを軽くすることができます。

**拡散モデルを使った「テキスト→画像」モデル**
Imagen では、テキストから画像を生成する「テキスト→画像」モデルに、拡散モデルを採用しています。拡散モデルにノイズを付与する方法や損失関数を工夫して BigGAN を超える性能を出しつつ、推論速度を向上した Nichol 氏と Dhariwal 氏の論文 ([Nichol and Dhariwal, 2021](https://arxiv.org/abs/2102.09672)) に従い、U-Net ([Ronneberger et al., 2014](https://arxiv.org/abs/1505.04597)) 形式のネットワークを採用しています。

U-Net とは、その名が示す通り U字型のネットワークで、抽象度が高く解像度が低い状態 (下図の底) から、再び解像度が高い状態に戻すネットワークです。特徴的なのは、解像度が同じ部分をスキップ結合によって連結させている部分です。この機構により、元画像の特徴を反映した特徴量マップを出力しやすいので、意味的領域分割 (semantic segmentation) のような元画像の詳細な特徴を加味しつつ密な予測マップが必要なタスクで広く利用されています。

**Diffusion Model（拡散モデル）**
Diffusion Modelはノイズからスタートし、徐々にノイズを除去していくことで、データを生成するモデルです。下記の図では、xTからスタートし、T回のノイズ除去ステップを踏むことで、顔画像x0を生成しています。もちろん、どのようにノイズを除去すればよいのか、言い換えるならば、どのような過程でノイズが付与されたのか、ということが分からなければ、データを生成することはできません。ノイズを付与していく過程をForward diffusion process、除去していく過程をReverse diffusion processと呼びます。

![](https://aihack.aijobcolle.com/p/88g9da2ejidm2ia3jwuc-7cae0ad7.png)
引用：：https://arxiv.org/pdf/2006.11239.pdf

**超解像モデル**
より高い解像度の画像を生成する Imagen の最終段階でも拡散モデルが使われています。「テキスト→画像」と同様に、U-Net 形式の拡散モデルが使われていますが、著者らはより効率的なネットワーク Efficient U-Net を提案しています。Efficient U-Net では、低解像度ブロックにより多くのパラメータを使い、残差ブロックを追加しています。低解像度ブロックは一般的に多くのチャンネルを持っているので、メモリや計算のコストあまり増やさずに、モデル容量を増やすことができます。

**拡散モデルの分類器不使用型モデル**
拡散モデルを生成画像をテキストに沿って条件付けする方法として、分類器誘導型 (classifier-guided) と分類器不使用型 (classifier-free) の 2 種類があります。
この分類器不使用型では、分類器を用いずに、条件付き拡散モデルと非条件付き拡散モデルを同時に学習することで、条件付き拡散モデルの学習を行います。式で書くと以下
![](https://aihack.aijobcolle.com/p/i4295fsdbcgie7ce9e6j-ea68293e.png)

この誘導重み (guidance weight) と呼ばれるハイパーパラメータ ω を大きくすると、画像とテキストの一致度は向上しますが、色が飽和状態 (画素出力値が極端になる、下図の場合は黒い部分が増える) になり、画像の品質が下がってしまします。

本研究では、一致度を上げつつも画像の品質を上げるために、画像の閾値を動的に変化させる「動的閾値設定 (dynamic shareholding)」を提案しています。擬似コードは以下の通りです。

![](https://aihack.aijobcolle.com/p/ta86gzh3k24btf7ykfdf-6bef25f4.jpg)

通常は、上図左のようにモデルの出力値が一定値に収まるようにクリッピングします。画像は 
0 - 255の画素値をもちますが、勾配爆発防止のため、学習時は 0 - 1や −1-1 にスケーリングします。画像生成をする場合も 0- 255の値を直接生成するのではなく、スケーリングさせた値を生成させます。左図では、画素値を −1- 1 にスケーリングさせているため、モデルの出力がその範囲を超えないように調整しています。一方、右側の「動的閾値設定 (dynamic shareholding)」では、分位点を示すパラメータ p を用いて動的に調整しています。具体的には、p 位分位数 の値 s を使って、モデルの出力をスケールし直しています 。

「動的閾値設定 (dynamic shareholding)」の効果を定性的に評価したのが下図です。
![](https://aihack.aijobcolle.com/p/rnkopu2nwvzgan6xeiov-72e1ca8c.jpg)

3つの条件でそれぞれ５段x3列の画像が表示されており、それぞれの段は誘導重みωを上から1,2,3,4,5と変化させたものです。誘導重みの値が大きいほど飽和しやすい条件になっています。閾値調整していない水準 (No thresholding) よりは品質が良いですが、静的な閾値調整 (Static thresholding) でも誘導重み ωが大きな水準では、画像が黒っぽくなってしまっています。それに対し、動的な閾値調整 (Dynamic thresholding) では誘導重み ω の値が大きくなっても、黒色に飽和することなく画像を生成できています。
また、定量的に見ても、下図に示すように、 CLIP Score と FID のトレードオフも改善していることがわかります
![](https://aihack.aijobcolle.com/p/8zj9oehzurx2x7k2d3ir-40ab2920.png)

Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding（AI最新論文の読解　No.28-1）

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

PyTorchの躍進を紐解く３…

勾配法と学習率

いいね！ランキング

深層学習はシステム1からシステム2へ

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

なぜZoomは40分で切れるのか？

論文要約

ユーザーランキング

タグランキング

深層学習

AI

deeplearning

ディープラーニング

Transformer