ソニーが動画音響生成「MMHNet」発表：Mamba採用で5分超の同期効果音に対応

動画制作において、効果音やフォーリー（環境音・動作音）の付加は最も手間のかかる作業のひとつです。数分の映像でも、足音や打撃のタイミングを波形に合わせて手動で詰める作業には膨大な時間がかかります。既存のAIツールを使っても、数秒ならともかく、1分を超えると映像と音声の同期が崩れていくのが常でした。

こうした中、ソニーの研究チームは2月24日、5分を超える長尺動画に対応した音声生成アーキテクチャ「MMHNet」を発表しました。論文はarXivにて公開されています。

Mambaと階層型ネットワークで「短い学習から長い生成」を実現

Hunyuan Video FoleyやMM Audioといった既存の動画音響生成モデルは、短いクリップでは高い精度を見せるものの、長尺動画になると計算コストが跳ね上がり、映像と音のズレが顕著になる課題を抱えていました。背景には、質の高い長尺の音映像対データが乏しいことや、テキスト指示とフレーム単位の細かな動きの間に乖離があることが挙げられます。

ソニーはこの問題に対し、多模態階層ネットワーク（MMHNet）に「非因果的Mamba（non-causal Mamba）」アーキテクチャを組み込む手法を採用しました。Mambaによる効率的な長距離文脈の把握と、階層構造によるマクロ・ミクロな情報分離を組み合わせることで、計算量を抑えつつ一貫した音響生成を可能にしています。

注目すべきは、「短い素材で学習し、長い動画でテストする（train short and test long）」アプローチを実証した点です。モデルは短尺データのみで訓練されているにもかかわらず、推論時には5分以上の動画へ破綻なく汎化します。

ベンチマークでも従来の長尺動画音響生成モデルを上回るスコアを記録しました。特にボールが机に衝突する瞬間などの微小なアクションや、カメラのアングル切り替えに追従する効果音の同期精度が高く評価されています。

なぜ重要か

映像クリエイターやインディーゲーム開発者にとって、長尺動画の音響制作が自動化されれば、ポストプロダクションの労力は劇的に削減されます。ただし、現時点では論文発表にとどまり、重みファイルの公開やWebデモは提供されておらず、手元ですぐに試せる段階ではありません。

技術的な観点で見れば、長尺データを大量に集めて力任せに学習させるのではなく、モデル構造の工夫によって短尺データから長尺生成を実現した点は非常にスマートです。

動画生成AIが長尺化へと舵を切る中で、音響面での破綻を防ぎ、ミリ秒単位の衝突音を同期させる技術は不可欠になります。Mambaのような状態空間モデルを活用した今回の手法は、今後のマルチモーダル同期技術の標準的な選択肢になっていくと考えられます。