AdobeがMultiFoley発表：猫の鳴き声をライオンの咆哮に変えるAI音響生成

映像制作において、画面の動きに合わせて効果音を1フレーム単位で配置する「フォーリー（音響効果）」作業は、非常に手間のかかる工程の一つです。

Adobe Researchは、映像を認識しながらマルチモーダルな制御が可能な新しい音声生成手法「MultiFoley」を発表しました。

タイプライターの音をピアノに変える

MultiFoleyは、映像内のアクションを把握した上で、音の質感を柔軟にコントロールできるのが特徴です。

公開された研究デモでは、タイプライターを打つ動きに合わせてピアノの音を鳴らしたり、子猫の鳴き声をライオンの咆哮に変えたりといったスタイルの置き換えが紹介されています。

さらに、手持ちの既存効果音を映像内のアクションのタイミングへ完璧に同期させる機能も備えています。

なぜ重要か

映像に合った効果音を探し、手作業で波形を合わせる作業は、動画クリエイターにとって長年の重荷でした。MultiFoleyは現在研究段階であり、すぐに一般の編集環境で試せるわけではありません。

しかし、プロンプトから漠然とBGMを作るだけのツールとは異なり、既存の音素材を正確なタイミングで同期させたり、音の質感を自由に差し替えたりできる実用性に振り切っている点は見事だと私たちは考えます。

これが将来的にPremiereなどの実用ソフトへ組み込まれれば、ポストプロダクションの現場を大きく効率化する技術になりそうです。