2022/11/14 2022/11/14

AudioLM: a Language Modeling Approach to Audio Generation（AI最新論文の読解　No.27）

アクセス: 128

コメント: 0

”AudioLM: a Language Modeling Approach to Audio Generation”（Google Research, 2022.9.7、https://arxiv.org/abs/2209.03143）　について概説する。
リアルなオーディオを生成するには、さまざまなスケールで表現されたモデリング情報が必要です。たとえば、音楽が個々の音符から複雑な音楽フレーズを構築するように、音声は、音素や音節などの時間的に局所的な構造を単語や文に結合します。これらすべてのスケールで適切に構造化された一貫性のあるオーディオ シーケンスを作成することは、音声合成のテキスト トランスクリプトやピアノの MIDI 表現など、生成プロセスを導くことができるトランスクリプションとオーディオを結合することによって対処されてきた課題です。ただし、このアプローチは、発話障害を持つ人々が自分の声を回復するのを助けるために必要なスピーカーの特性や、ピアノ演奏のスタイルの要素、等、音声の転写されていない側面をモデル化しようとすると破綻します。

「AudioLM: a Language Modeling Approach to Audio Generation」では、オーディオのみを聞いてリアルなスピーチとピアノ音楽を生成することを学習する、オーディオ生成のための新しいフレームワークを提案します。AudioLM によって生成されたオーディオは、長期的な一貫性 (例: 音声の構文、音楽のメロディー) と高いクオリティを示し、以前のシステムを凌駕し、音声合成またはコンピューター支援音楽のアプリケーションでオーディオ生成のフロンティアを押し進めています。われわれGoogleはAI Principlesに従って、AudioLM によって生成された合成オーディオを識別するモデルも開発しました。

**テキストから音声言語モデルへ**
近年、非常に大規模なテキスト コーパスでトレーニングされた言語モデルは、自由記述の対話から機械翻訳、さらには常識的な推論に至るまで、並外れた生成能力を発揮しています。さらに、自然画像など、テキスト以外の信号をモデル化する能力も示しています。AudioLM の背後にある重要な要素は、言語モデリングのこのような進歩を活用して、アノテーション付きデータでトレーニングすることなく音声を生成することです。

ただし、テキスト言語モデルから音声言語モデルに移行する際には、いくつかの課題に対処する必要があります。まず、オーディオのデータ レートが非常に高いため、シーケンスがはるかに長くなるという事実に対処する必要があります。書かれた文は数十文字で表すことができますが、そのオーディオ波形には通常、数十万の値が含まれています。第 2 に、テキストと音声の間には 1 対多の関係があります。これは、同じ文が、異なる話し方、感情的な内容、録音条件の異なる話者によって表現される可能性があることを意味します。

両方の課題を克服するために、AudioLM は 2 種類のオーディオ トークンを活用します。まず、自己教師ありオーディオ モデルであるw2v-BERTからセマンティック トークンが抽出されます。これらのトークンは、オーディオ信号を大幅にダウンサンプリングしながら、局所的な依存関係 (例: スピーチのフォネティックス、ピアノ音楽のローカル メロディー) とグローバルな長期構造 (例: スピーチの言語構文と意味内容、ピアノ音楽のハーモニーとリズム) の両方をキャプチャします。長いシーケンスのモデリングを可能にします。

ただし、これらのトークンから再構築されたオーディオは、忠実度が低いです。この制限を克服するために、セマンティック トークンに加えて、SoundStream ニューラル コーデックによって生成される音響トークンに依存しています。これにより、オーディオ波形の詳細 (スピーカーの特性や録音条件など) がキャプチャされ、高品質の合成が可能になります。セマンティック トークンとアコースティック トークンの両方を生成するようにシステムをトレーニングすると、高いオーディオ品質と長期的な一貫性が同時に得られます。
![](https://aihack.aijobcolle.com/p/8st8to9zdowzyhur8tcs-5987b46d.jpg)

**音声のみの言語モデルのトレーニング**
AudioLM は、音楽のテキストや記号表現なしでトレーニングされる純粋なオーディオ モデルです。AudioLMは、各段階に 1 つずつ、複数のTransformerモデルをチェーン化することにより、セマンティック トークンから細かい音響トークンまで、オーディオ シーケンスを階層的にモデル化します。各ステージは、テキスト言語モデルをトレーニングする場合と同様に、過去のトークンに基づいて次のトークン予測のためにトレーニングされます。最初のステージでは、セマンティック トークンに対してこのタスクを実行し、オーディオ シーケンスの高レベル構造をモデル化します。

![](https://aihack.aijobcolle.com/p/hfh8bwvpb4xxc6xox8gv-3716837a.jpg)

第 2 段階では、セマンティック トークン シーケンス全体を過去の粗い音響トークンと一緒に連結し、両方を条件付けとして粗い音響モデルに供給します。これにより、将来のトークンが予測されます。このステップでは、スピーチのスピーカー特性や音楽の音色などの音響特性をモデル化します。

![](https://aihack.aijobcolle.com/p/48cvctj4dw3err74h99a-532cf242.jpg)

第 3 段階では、細かい音響モデルを使用して粗い音響トークンを処理し、最終的なオーディオにさらに詳細を追加します。最後に、音響トークンを SoundStream デコーダーに送り、波形を再構築します。
![](https://aihack.aijobcolle.com/p/e26w83smdsuhfkbb6s2j-e0c010d6.jpg)

トレーニング後、数秒のオーディオで AudioLM を調整できます。これにより、一貫した連続した音声を生成できます。AudioLM フレームワークの一般的な適用性を示すするために、異なるオーディオ ドメインからの 2 つのタスクを検討します。
・スピーチのContinuations
モデルは、発話者の特徴、韻律、およびプロンプトの録音条件を保持しながら、構文的に正しく、意味的に一貫性のある新しいコンテンツを生成することが期待されます
・ピアノのContinuations
メロディー、ハーモニー、リズムの点でプロンプトと一貫性のあるピアノ音楽をモデルが生成することが期待されます

以下のビデオでは、モデルが音声または音楽のいずれかを続行し、トレーニング中に見られなかった新しいコンテンツを生成するように求められるサンプルを聞くことができます。聞いてみると、灰色の縦線の後に聞こえるものはすべて AudioLM によって生成されたものであり、モデルはテキストや音楽の書き起こしを見たことがなく、生の音声から学習しただけであることに注意してください。この Web ページ（https://google-research.github.io/seanet/audiolm/examples/) でさらに多くのサンプルを公開しています。

https://youtu.be/_xkZwJ0H9IU

結果を検証するために、人間の評価者に短いオーディオ クリップを聞いてもらい、それが人間の音声の元の録音か、AudioLM によって生成された合成のContinuationsかを判断するように依頼しました。収集した評価に基づいて、51.2% の成功率が観察されました。これは、ランダムにラベルを割り当てた場合に達成された 50% の成功率と統計的に有意な差はありません。つまり、AudioLM によって生成された音声は、平均的なリスナーにとって実際の音声と区別するのが難しいということです。

AudioLM に関する私たちの作業は研究目的のためのものであり、現時点でより広くリリースする予定はありません。AI Principlesに沿って、 AudioLMによって合成された短い音声サンプルを実際の音声として誤解する可能性を理解し、軽減することを目指しました。この目的のために、AudioLM によって生成された合成音声を非常に高い精度 (98.6%) で検出できる分類器をトレーニングしました。これは、一部のリスナーには (ほとんど) 区別できないにもかかわらず、AudioLM によって生成された継続は、単純なオーディオ分類器で非常に簡単に検出できることを示しています。これは、AudioLM の誤用の可能性を防ぐための重要な最初のステップであり、将来的にはオーディオの「透かし」などの技術を調査する可能性があります。

**結論**
長期的な一貫性と高音質の両方を提供するオーディオ生成への言語モデリング アプローチである AudioLM を紹介しました。音声生成に関する実験は、AudioLM がテキストなしで構文的および意味的に一貫した音声を生成できることだけでなく、モデルによって生成されたContinuationsが人間による実際の音声とほとんど区別できないことも示しています。さらに、AudioLM はスピーチをはるかに超えており、ピアノ音楽などの任意のオーディオ信号をモデル化できます。これにより、他のタイプのオーディオ (多言語スピーチ、ポリフォニック音楽、オーディオ イベントなど) への将来の拡張が促進されるだけでなく、オーディオ LM をエンコーダー/デコーダー フレームワークに統合して、テキスト読み上げやスピーチ読み上げなどの条件付きタスクを実行できます。

AudioLM: a Language Modeling Approach to Audio Generation（AI最新論文の読解　No.27）

人気記事ランキング

YOLOv5 登場！このプロ…

XGBoost（GBDT）とランダ…

深層学習はシステム1から…

PyTorchの躍進を紐解く３…

勾配法と学習率

いいね！ランキング

深層学習はシステム1からシステム2へ

XGBoost（GBDT）とランダムフォレストから…

ディープラーニングを学び始めた方へ　東…

なぜZoomは40分で切れるのか？

論文要約

ユーザーランキング

タグランキング

深層学習

AI

deeplearning

ディープラーニング

Transformer