本文へスキップ
IFAI

画像・動画生成

ByteDanceが「Seed-Audio 1.0」発表、対話・効果音・BGMを一度に生成

公開 拡散指数 41

Volcano Engine は音声生成モデル「Seed-Audio 1.0」を発表した。1 回の生成で複数キャラクターの対話や感情表現、効果音、BGM を同時に出力できる。参照音声によって話者の一貫性を保つことができ、現在は主に API 経由で提供されている。

ByteDanceが「Seed-Audio 1.0」発表、対話・効果音・BGMを一度に生成
画像:finance.sina.com.cn

ドラマや動画の音声トラックを作るとき、これまでは台詞の音声合成、効果音探し、BGM の生成を別々に行い、編集ソフト上で位置を合わせるのが一般的でした。

6 月 23 日、Volcano Engine は新モデル「Seed-Audio 1.0」を発表しました。最大の特徴は、これらを 1 回の生成でまとめて処理できる点です。複数キャラクターの掛け合い、感情表現、方言や訛り、擬音や環境音、そして BGM までをひとつの音源として同時に組み立てて出力します。

会話から効果音まで一括で直出

Seed-Audio 1.0 は、オーディオブックや連続ドラマといった長尺コンテンツで問題になりやすい声質のブレも抑えています。

参照音声を指定することで同じ声色を一貫して維持できるほか、テキストでイメージを伝えるだけで声の特徴をゼロから推論する機能も備えています。さらにハミングから楽曲を作り出す機能も盛り込まれました。現在は主に API 経由で提供されており、Fal などのプラットフォームでも利用可能です。初期の利用者からは、音声表現は ElevenLabs V3 に迫り、楽曲生成も Suno V4 に匹敵するとの声が上がっています。

なぜ重要か

素材を個別に作るのではなく、完成形の音響トラックをまとめて出す方向に踏み込んだ点は非常に現実的だと感じます。制作現場で最も手間がかかるのはトラック同士のタイミング合わせであり、ここをワンストップで省略できるメリットは大きいです。

同日発表された画像や動画モデルと組み合わせることで、ByteDance はコンテンツ制作の全工程を自社モデルで完結させる基盤を整えました。一方で、すべてが一体化して出力される分、BGM だけを微調整したい場合などに従来のマルチトラック編集と比べてどこまで小回りが利くかは、今後の課題になりそうです。

情報源 (1)

  1. [1]

毎日のAIピックアップ