音声と映像を同時編集する「InstructAV2AV」登場、指示文だけで人物やセリフを変更可能に

AI を使った動画編集において、これまで最大の盲点となっていたのが「音声」の扱いでした。

プロンプトを入力して映像内の登場人物や衣装を変えることができても、音声トラックは元のまま取り残され、結局別のツールで効果音やナレーションを作り直して波形を手作業で合わせる必要がありました。

研究チームは自然言語の指示だけで映像と音声を同時に変更できるエンドツーエンドのフレームワーク「InstructAV2AV」を発表しました。

指示文ひとつで、マスクなしの音画同時編集を実現

InstructAV2AV の最大の特徴は、映像と付随する音声を一つの連動したデータとして処理する点にあります。

ユーザーがテキストで指示を出すだけで、人物の入れ替え、セリフの変更、オブジェクトや効果音の追加・削除が同時に実行されます。マスクを手作業で切り抜く必要はなく、指定したターゲットだけが置き換わり、背景映像や環境音は崩れずにそのまま維持されます。

これを可能にするため、研究チームは高品質な編集前後のペアデータを含む、初の大規模音ビデオ編集データセット「InsAVE-80K」を構築しました。

映像と音声を同期させ、背景を崩さない仕組み

アーキテクチャ面では、Ovi、Wan2.2、T5 などの技術を組み合わせた基盤モデルを活用しています。

元の文脈を見失わないよう、元の音ビデオ入力とノイズを含む潜在変数を結合してアンカーとして機能させています。さらに「ソース指示ゲーテッド・アテンション」を導入することで、新しい指示への追従と既存コンテンツの維持を高度に両立させました。

2 つの評価用データセットと 3 つの側面、計 11 の指標において、従来の分離型アプローチを上回る精度を実証しています。

なぜ重要か

私たちは、InstructAV2AV が今後のマルチモーダル編集を「映像単体の加工」から「音響を含めた統合システム」へと進化させる重要な一歩だと考えています。

クリエイターにとって、動画の吹き替え、ローカライズ、部分的なテイク修正にかかる工数は劇的に削減される可能性があります。映像ソフトと DAW を往復しながらリップシンクを手作業で合わせる時代が、テキスト指示だけで完結する形へと変わる道筋が見えてきました。

業界全体にとっても、映像生成と音声生成を別々に開発して後から合わせる手法の限界が浮き彫りになり、エンドツーエンドの同時生成・同時編集が今後の標準競争になるはずです。

ただし、現時点では研究段階のフレームワークであり、複雑な多人数会話や激しいカメラワークの中でどこまで自然な音響空間と整合性を保てるかは、実務レベルのツールに組み込まれた段階でさらに検証される必要があります。