Google DeepMindが「V2A」技術を発表、無音の生成動画に効果音や音声を自動同期

生成 AI による動画がどれほどリアルになっても、再生ボタンを押した瞬間の静寂には拭いきれない不気味さが残ります。荒波のうねりや激しいカーチェイスが完全な無音で繰り広げられる中、音を合わせる作業はこれまで人間のクリエイターが手動で行うしかありませんでした。

Google DeepMind は 6 月 17 日、この課題を解決する新技術「Video-to-Audio（V2A）」を発表しました。映像のピクセル情報と自然言語プロンプトを組み合わせることで、劇伴音楽や環境音、さらには登場人物のセリフまで、映像に同期したリアルな音響を自動生成する仕組みです。

ピクセルから音を彫り出す拡散モデルの力

従来の音響制作では、タイムライン上で足音や衝突音を一コマずつ手作業で合わせる必要がありました。既存の自動生成ツールの多くも、どのタイミングで何を鳴らすか詳細なテキスト指示を求められるのが一般的です。

DeepMind の V2A は、映像の元ピクセルを直接認識できる点が大きく異なります。プロンプトの入力は必須ではなく、テキスト指示を一切与えなくても、システムが映像の動きを読み取って適切な音を自動で組み立てます。

研究チームは自己回帰アプローチと拡散モデルのアプローチを比較検証した結果、映像と音声情報の同期において、拡散モデルを採用した方が圧倒的にリアルで自然な結果を得られることを突き止めました。

処理の流れとしては、まず入力された映像を圧縮表現にエンコードします。その後、視覚情報とプロンプトを手がかりに、拡散モデルが無作為なノイズから徐々に音声を生成。最後にデコードして波形データへと変換し、動画と統合します。学習には詳細な音響解説や書き起こしテキストといった注釈データも大量に投入されており、ポジティブプロンプトやネガティブプロンプトを使って、特定の楽器を強調したり不要な雑音を排除したりする柔軟な制御も可能です。

古い無声映画への応用と、残された口パクの壁

この技術は、Google の動画生成モデル「Veo」と連携できるだけでなく、過去の無声映画や歴史的なアーカイブ映像にも活用可能です。生成できる音源の数に制限はないため、気に入った雰囲気になるまで何度でも再生成して試すことができます。

一方で、一般公開に向けてはまだクリアすべき課題が残されています。

音質の良し悪しが入力映像の画質に強く依存する点はその一つです。映像にノイズや歪みがあったり、モデルの学習範囲から外れた表現が含まれていると、出力される音声の品質も目に見えて低下します。

さらに厄介なのがリップシンク（口の動きと声の一致）です。V2A は台詞の書き起こしをもとに音声を当てようとしますが、元の動画生成モデルがセリフを考慮せずに顔を動かしている場合、口の形と発音内容が噛み合わず、強い違和感が生じてしまいます。

なお、悪用を防ぐ対策として、生成されたすべての音声には DeepMind の電子透かし技術「SynthID」が埋め込まれます。

なぜ重要か

AI 動画が「動く壁紙」の域を脱し、映画や本格的なコンテンツ制作の現場で使われるようになるには、音の自動化が欠かせません。一人で制作を行うクリエイターにとって、効果音探しやタイムラインでの位置合わせから解放される価値は計り知れません。

私たちは、プロンプトに頼り切るのではなく映像ピクセルを直接読み取らせるという DeepMind の設計思想を高く評価しています。手作業でのアライメントを不要にした点は、実用化に向けた大きな前進と言えます。

ただし、映像と音声を別々のパイプラインで処理する手法には限界も見え隠れしています。リップシンクのズレが象徴するように、映像を生成する段階から音声情報が考慮されていない限り、人形劇のような不自然さを完全に消し去ることはできません。真の視聴体験を実現するには、映像と音声を最初から同時に生み出すマルチモーダル統合が次の主戦場になりそうです。