アドビ、AIで雑多な音声をトラック分離する新ツールを披露

動画やポッドキャストの収録中に、キーボードの打鍵音やパトカーのサイレンが混ざってしまい、撮り直しを余儀なくされた経験がある人は多いはずです。Adobeが現在開発を進めている「Project Sound Lift」は、そうした混ざり合った音声をAIでレイヤーごとに分解する実験的ツールです。

特定のノイズをピンポイントで分離

The Vergeに公開されたデモによると、使い方は極めてシンプルです。録音ファイルをアプリに読み込み、除去したい音の種類を指定するだけで処理が行われます。

指定できるノイズの種類は多岐にわたり、拍手、笑い声、警報、人の話し声、人混みのざわめき、交通騒音、タイピング音などが用意されています。AIが音声を自動検出して個別のトラックに分解し、残したいメインの音声や楽器のトラックと、背景の環境音トラックを別々に出力します。

出力された各トラックはそのままAdobe Premiere Proに読み込んで編集できます。不要な環境音の音量を少し下げるだけで、主役の声を際立たせることが可能です。

Supertone ClearやGoyoといった既存の音声分離ツールも存在しますが、それらは環境音、声、残響といった大まかな分類にとどまります。Project Sound Liftは特定の音の種類を直接狙い撃ちできる点が特徴です。この仕組みは、ザ・ビートルズの最後の新曲「Now and Then」でジョン・レノンの古いカセット音源からピアノとボーカルを分離した技術と同系統のものです。

ただし、本作はAdobeが研究段階の技術を紹介する「Sneak」として公開されたものであり、正式な製品版として提供されるかどうかや、その時期は未定です。

なぜ重要か

個人クリエイターや映像制作者にとって、音声トラブルによる撮り直しのリスクを大幅に減らせる点が最大の魅力です。防音スタジオを持たない現場ロケの音声でも、後からノイズだけを抑えて救済できる可能性があります。

巧みなのは、ノイズを完全に消去するのではなく、別トラックとして分離するワークフローを採用している点です。従来のノイズキャンセリングは背景音を消しすぎて不自然な無音空間を作り出してしまう弱点がありましたが、別トラックであれば環境音を適度に残して現場の臨場感を保てます。

一方で懸念されるのは、デモ通りの分離精度が複雑な実環境でどこまで再現できるかという点です。AIによる位相差のアーティファクトが発生する可能性や、Sneakプレビューの段階であるため実用化までに時間がかかる、あるいは実装が見送られるリスクも考慮しておく必要があります。