ElevenLabsがAI効果音の提供を予告：テキストから効果音や環境音を生成

先週 OpenAI が Sora を発表した際、AI 生成動画のクオリティに世界中が驚かされました。しかし冷静になってみると、そこには明らかな弱点がありました。公開された映像はすべて、一切の音がない完全な無声映画だったのです。

この隙を見逃さなかったのが、音声合成スタートアップの ElevenLabs です。同社は開発中の AI 効果音生成ツールを披露し、Sora の代表的な無声デモ動画に自社ツールで作ったリアルな環境音と効果音を重ねた映像を公開しました。

プロンプトで呼び出す効果音制作チーム

この新技術は、テキスト指示だけで映像に合わせた環境音や効果音を作り出せるというものです。

同社が公開したデモでは、「打ち寄せる波」「金属の衝突音」「鳥のさえずり」「レーシングカーのエンジン音」といった自然言語プロンプトを使ってサウンドを生成しています。

実際の仕上がりは極めて自然です。雑踏を行き交う人々の足音と街の喧騒、未来的な二足歩行ロボットの電子音やモーター駆動音、さらにはハリウッド映画風の重厚なナレーションまでが、プロンプト一つで違和感なく映像に付加されています。

ElevenLabs は元 Google の機械学習エンジニアである Piotr Dabkowski 氏と、元 Palantir の Mati Staniszewski 氏が 2022 年に立ち上げた企業です。これまで音声クローンや高精度な多言語吹き替えで評価を高めてきましたが、人声以外の音響領域へ本格的に乗り出す構えです。

現時点で正式なリリース時期は明かされていませんが、特設ページにて利用希望者のウェイトリスト登録が始まっています。

なぜ重要か

映像クリエイターや個人開発者にとって、効果音探しは編集作業の中でも特に骨の折れる工程です。イメージに合う足音や環境音を探すために膨大なストック素材サイトを漁っていた時間が、テキスト入力だけで解消されるなら、制作フローは劇的に短縮されます。

業界の視点で見ても、今回の ElevenLabs の立ち回りは非常に巧みです。世間の視線が Sora の圧倒的な映像力に集まっている瞬間を捉え、映像生成に欠落していた音という最大のピースを提示することで、自社を次世代動画ワークフローの標準インフラとして印象づけることに成功しました。

もっとも、現段階ではユーザーが映像を見ながらプロンプトを手動で打ち込み、音と映像を合わせる必要があります。今後、動画生成モデル自体が映像と同期した音声を最初から同時に出力できるようになれば、単独の効果音ツールの立ち位置が危うくなる懸念は残ります。とはいえ、日頃の動画編集で音素材集めに苦労しているなら、先行登録を試しておく価値は十分にあると考えます。