跳到正文
IFAI

AIGC

位元組釋出 Seed-Audio 1.0:一次搞定多角色對白、音效與背景音樂

首次發布 傳播指數 41

火山引擎釋出豆包音訊生成模型 1.0(Seed-Audio 1.0),能在單次生成中同步編排多角色對白、情緒語氣、擬音特效與背景音樂。模型支援參考音訊與零樣本描述,可在長劇中保持音色高度統一。目前主要以 API 形式提供服務。

位元組釋出 Seed-Audio 1.0:一次搞定多角色對白、音效與背景音樂
圖:finance.sina.com.cn

過去做一段廣播劇或影片配音,你得先用語音模型生成臺詞,找音效庫墊擬音,再去音樂軟體配一段 BGM,最後在剪輯軌裡慢慢對齊。

6 月 23 日,火山引擎在原動力大會上釋出了豆包音訊生成模型 1.0(Seed-Audio 1.0)。它的核心賣點很簡單:把這些繁瑣的後期環節合在一塊,一次生成就能同步搞定多角色對白、情緒語氣、方言口音、背景音樂以及擬音特效。

一句話搞定整條音軌

除了把語音、音效和音樂打包輸出,Seed-Audio 1.0 還重點解決了長音訊創作中最頭疼的音色漂移問題。

模型支援文生音訊與參考音訊聯動,在做有聲書、長劇集或播客時能保持音色高度一致。它還支援零樣本參考,給一段文字描述就能推理出匹配的聲音特徵。此外模型也支援哼歌成曲,動動嘴就能生成完整歌曲。

目前該模型主要以 API 形式對外開放,Fal 等平臺也已接入。有業內早期測試者評價,它的多角色語音表現接近 ElevenLabs V3,音樂生成質感也能對標 Suno V4。

為什麼重要

我們認為,位元組這一步走得相當實在。音影片創作裡最耗費精力的往往不是單點素材的生成,而是不同素材之間的對齊與合成。Seed-Audio 1.0 把對白、擬音和配樂收攏進同一次推理,直接奔著影視級成品的交付標準去,能幫短劇和有聲書創作者省下大量的後期修音成本。

配合位元組同場更新的圖文與影片模型,豆包已經搭成了一套端到端的一體化內容管線。不過一體化生成也有潛在隱患:一旦單次直出的某一段 BGM 或對白不合心意,分軌調整的靈活性往往不如傳統工作流,後續怎麼做好精細化區域性重繪,是它必須跨過去的門檻。

來源 (1)

  1. [1]

每日 AI 內容精選