跳到正文
IFAI

大模型

Meta 开放 Audiobox 试用:支持零样本语音合成与文本生成音效

首次发布 传播指数 49

Meta 开放音频生成基础研究模型 Audiobox 的试用 Demo。该模型支持零样本语音合成(Zero shot TTS)、文本生成音效以及音频修复填充(Infilling)等能力,现在即可直接在线体验。

Meta 开放 Audiobox 试用:支持零样本语音合成与文本生成音效
图:x.com

想给一段视频配上脚步声,或者让 AI 用你的声音读出一段话?Meta 刚刚把这种音频生成工具开放给大家玩了。

Meta 的 AI 团队宣布上线基础研究模型 Audiobox 的试用 Demo。这是一款面向音频生成的基础模型,普通人现在就能在浏览器里直接上手体验。

声音克隆与音效生成全包了

根据官方公布的信息,Audiobox 的 Demo 覆盖了多种音频处理能力。

它不仅支持零样本语音合成(Zero-shot TTS),也就是只靠极短的参考音频就能模仿发音,还支持文本生成音效,直接用文字描述生成环境声或音效。

此外,模型还具备音频补全(Infilling)等能力,可以用来替换或填补现有音频里的特定片段。

为什么重要

Meta 把零样本配音、音效合成和局部修补打包放进同一个 Demo,对内容创作者和视频播客来说非常友好。这意味着以后给视频补录一句台词,或者加一段环境音效,不再需要打开一堆专业剪辑软件或者去素材库慢慢翻。

从技术布局来看,相比目前市面上专注单一语音克隆或单一音乐生成的工具,Meta 显然把 Audiobox 当作音频领域的统一基础模型来推。把试用门槛放低到网页端,能让更多普通用户参与测试,也方便官方收集反馈进一步调优。

不过目前这只是研究性质的 Demo,生成音效的细节还原度以及在复杂背景下的稳定性,还需要大家在实际测试里多观察。

来源 (1)

  1. [1]
    @AIatMeta(在新标签页打开)原文twitter.com

话题追踪Meta Audiobox

这个话题的历次新闻,最新的在上面。

  1. Meta 开放 Audiobox 试用:支持零样本语音合成与文本生成音效本条
  2. Meta 发布 Audiobox:输入文字就能做音效、改语音

每日 AI 内容精选