Metaが「SAM Audio」公開：動画上のクリックやテキストで特定音を分離

Metaが画像切り抜きで話題を呼んだSAMの技術を、ついに音の世界へと拡張しました。複雑な音声から狙った音だけを分離できる新モデル「SAM Audio」の登場です。

これまでの音声編集は、ボーカル抽出、ノイズ除去、楽器分離など、目的ごとに別々のツールを使い分けるのが当たり前でした。SAM Audioはこれらを単一のマルチモーダルモデルとして統合しています。

映像のギターをクリックするだけで音を分離

SAM Audioの最大の特徴は、人間の直感に沿った多彩なプロンプト入力に対応している点です。

例えばバンド演奏の動画なら、画面に映るギターを1クリックするだけで、その演奏音だけを抜き出すことができます。また、テキストで指示を出して屋外撮影の車の騒音を消したり、ポッドキャスト録音で犬の鳴き声が入った時間帯を指定して、全体からそのノイズを一掃したりすることも可能です。

基本構造にはフロー・マッチングを採用したDiffusion Transformerが使われており、入力された音声とプロンプトを共通の表現にエンコードしたうえで、対象の音とそれ以外の残差トラックを同時に生成します。

映像と音声を結ぶ耳となるPE-AV

動画内の物体と音を結びつけるため、Metaは「PE-AV」と呼ばれる音響映像知覚エンコーダーもあわせて開発しました。

4月に公開されたオープンソースモデルをベースにしており、フレーム単位の映像特徴を抽出して音声表現と正確に同期させます。いわばPE-AVが耳の役割を果たし、SAM Audioが頭脳として音を分離する仕組みです。

Metaはモデル本体と論文に加え、実際の環境を想定した評価ベンチマーク「SAM Audio-Bench」や自動評価モデル「SAM Audio Judge」も公開しました。これらは公式のSegment Anything Playgroundで今すぐ試すことができます。

なぜ重要か

動画クリエイターやポッドキャスト配信者にとって、撮影現場の環境音や突発的なノイズへの対処は常に悩みの種でした。専門的なプラグインを使わず、画面上のタップや自然言語の指示だけで音声をきれいに整音できる価値は極めて高く、今すぐ試してみる価値があります。

業界全体から見れば、Metaは画像分野で覇権を握ったSAMの成功モデルを音声分野にもそのまま持ち込んできた格好です。特化型のノイズ除去ソフトや音源分離プラグインを手がけるサードパーティにとっては、強力な脅威となるはずです。

視覚情報と音響情報を自然に統合したアプローチは非常に合理的だと感じます。一方で、生成モデルであるDiffusion Transformerをベースにしているため、既存の軽量な信号処理ツールと比べて計算コストが高く、一般的なPCやスマートフォン上でどこまで軽快に動作するかは今後の注目点と言えます。