MetaがWavFlowを発表：潜在空間を省き生波形から直接44.1kHz音声を生成

無声動画にAIで効果音をつける試みは増えていますが、Metaはその前提となっていた手法を根本から覆しました。

Metaは音声生成モデル「WavFlow」を発表しました。従来の音声モデルの多くは、計算量を減らすために音声を一度「潜在空間」に圧縮し、生成後にVAE（変分自己符号化器）で波形に戻す設計を採用していました。WavFlowはこの中間ステップを完全にスキップし、生の波形空間で直接44.1kHzの高忠実度音声を生成します。画像生成で言えば、潜在空間を使わずにピクセル空間で直接描画するようなアプローチです。

生の波形をグリッドにして解く

生波形は次元数が非常に高くエネルギーのばらつきも大きいため、直接扱うのは極めて困難です。Metaは波形をパッチ化して2次元のトークングリッドへ並べ替え、振幅補正を施すことで、フローマッチングによる直接予測を安定させました。

モデルには1.03BパラメータのMMDiTアーキテクチャが採用され、テキストや動画との位置合わせを行っています。さらに精度の高い時間同期を学習させるため、500万件の高品質な動画・テキスト・音声の3つ組みデータを自動パイプラインで構築しました。

動画テストでは、ドラムを叩く動作やギターのストロークに対して、驚くほど正確なタイミングで音が鳴ります。ベンチマークのVGGSoundでもFD_PaSST 59.98、DeSync 0.44を記録し、MM-Audioなどの既存の潜在空間ベースの手法と肩を並べるか上回る結果を出しました。

ただし弱点もあります。ピアノの演奏動画では、鍵盤を叩いていることは捉えても、どの鍵盤がどの音階に対応しているかまでは理解できず、不協和音を生成して破綻してしまいます。

公開コードに残された制約

さらに落とし穴もあります。MetaはGitHubリポジトリを立ち上げ、インストール手順や学習スクリプトを共有しましたが、社内ポリシーを理由に本番環境用の完全な学習済み重みは提供していません。手に入るのは実質的に骨組みだけで、すぐに誰でも使える完全版とは言えない状態です。

なぜ重要か

動画クリエイターにとって、無音のクリップに自動で自然なフォーリー（効果音）を当てられる技術は大きな省力化につながります。ドラムのような打楽器系では実用的な同期精度を見せていますが、ピアノのように厳密な音階理解が求められる場面ではまだ粗さが目立ちます。さらに完全な重みが公開されていないため、今すぐ実業務に組み込むのは困難です。

一方で研究面における意義は無視できません。私たちは、WavFlowが「潜在空間への圧縮は必須ではない」と実証した点に大きな価値があると考えています。VAEを経由することによる音質劣化を嫌うクリエイターにとって、生波形から直接高品質な音を紡ぎ出すアプローチは、今後の音声AIモデルの設計思想を根本から変える可能性を秘めています。