跳到正文
IFAI

AIGC

字节发布 Seed-Audio 1.0:一次搞定多角色对白、音效与背景音乐

首次发布 传播指数 41

火山引擎发布豆包音频生成模型 1.0(Seed-Audio 1.0),能在单次生成中同步编排多角色对白、情绪语气、拟音特效与背景音乐。模型支持参考音频与零样本描述,可在长剧中保持音色高度统一。目前主要以 API 形式提供服务。

字节发布 Seed-Audio 1.0:一次搞定多角色对白、音效与背景音乐
图:finance.sina.com.cn

过去做一段广播剧或视频配音,你得先用语音模型生成台词,找音效库垫拟音,再去音乐软件配一段 BGM,最后在剪辑轨里慢慢对齐。

6 月 23 日,火山引擎在原动力大会上发布了豆包音频生成模型 1.0(Seed-Audio 1.0)。它的核心卖点很简单:把这些繁琐的后期环节合在一块,一次生成就能同步搞定多角色对白、情绪语气、方言口音、背景音乐以及拟音特效。

一句话搞定整条音轨

除了把语音、音效和音乐打包输出,Seed-Audio 1.0 还重点解决了长音频创作中最头疼的音色漂移问题。

模型支持文生音频与参考音频联动,在做有声书、长剧集或播客时能保持音色高度一致。它还支持零样本参考,给一段文字描述就能推理出匹配的声音特征。此外模型也支持哼歌成曲,动动嘴就能生成完整歌曲。

目前该模型主要以 API 形式对外开放,Fal 等平台也已接入。有业内早期测试者评价,它的多角色语音表现接近 ElevenLabs V3,音乐生成质感也能对标 Suno V4。

为什么重要

我们认为,字节这一步走得相当实在。音视频创作里最耗费精力的往往不是单点素材的生成,而是不同素材之间的对齐与合成。Seed-Audio 1.0 把对白、拟音和配乐收拢进同一次推理,直接奔着影视级成品的交付标准去,能帮短剧和有声书创作者省下大量的后期修音成本。

配合字节同场更新的图文与视频模型,豆包已经搭成了一套端到端的一体化内容管线。不过一体化生成也有潜在隐患:一旦单次直出的某一段 BGM 或对白不合心意,分轨调整的灵活性往往不如传统工作流,后续怎么做好精细化局部重绘,是它必须跨过去的门槛。

来源 (1)

  1. [1]

每日 AI 内容精选