跳到正文
IFAI

大模型

Block 发布语音模型 Dessa:不靠文本直接听音学说话,连呼吸声都会

首次发布 传播指数 50

Block 发布原生实时语音模型 Dessa,不依赖文本中转或预训练,直接从人类语音中学会对话、语气与情绪。模型支持全双工实时插话,且可本地运行于消费级电脑。不过目前尚未公开,仅对 AI 安全研究人员开放测试申请。

Block 发布语音模型 Dessa:不靠文本直接听音学说话,连呼吸声都会
图:techcrunch.com

如果你听过大部分 AI 语音助手的表现,大概都会对那种微妙的「播音腔」感到头疼。哪怕现在的声音生成已经非常平滑,它们骨子里还是在读剧本:先把你说的话转成文字,用大模型想好文字回答,再把字转成声音吐出来。

把声音压扁成文字,很多微妙的语气、停顿和叹气就全丢了。10 月 24 日,Jack Dorsey 创办的 Block 旗下研究实验室发布了一款原生实时语音模型 Dessa。它的路子完全不同:它根本不依赖文本中转,也没有使用任何传统的预训练模型,而是像人类婴儿一样,直接通过听大量的人类对话语音,硬生生学会了说话。

像婴儿一样从声音里学会接话

按照 Block 的说法,现有的语音 AI 体验糟糕,核心原因就在于管线里插了一层文本。文本不仅丢掉了情绪,而且很难做到真正的即时互动。

像 ElevenLabs v4 或 Fish Audio Drama 3 这类语音系统,通常得靠在文本里加语气标签来驱动情绪,而 Dessa 的情绪表现则是原生内生在模型里的。它能边听边说,具备类似 OpenAI GPT-Live 的全双工实时交互能力。你在说话的中途可以随时插话,它不仅能顺畅接上,还会根据语境发出笑声、叹息、哭腔,甚至连呼吸声和轻微的停顿都能捕捉到。

在官方放出的演示片段里,当它聊到工作太累时,嗓音会自然带上疲倦感;在聊到触动情绪的话题时,声音甚至带着快要崩溃的哭腔。它甚至能听出你离麦克风太远,直接提醒你靠近一点才能听清。

更让人意外的是硬件成本。Block 宣称,整个模型只用了一台英伟达 GP200 GPU 机架进行训练,而且它不需要连网跑在云端大集群上,在一台配置了 M4 Max 芯片的 MacBook 等消费级电脑上就能完全本地运行。不过目前 Dessa 还没有向大众开放,只接受 AI 安全研究人员的测试申请,未来是否开源也还是未知数。

为什么重要

我们认为,Dessa 最值得关注的地方在于它彻底打破了「语音到文本,再从文本到语音」的传统架构路径。

对普通用户和开发者来说,本地可跑的原生语音模型如果能够成熟,意味着未来的语音助手不用再忍受高昂的云端 API 延迟和隐私隐患。特别是 Block 旗下拥有 Square 这种重度依赖小微商家点单和客服的业务,一旦低成本本地语音交互铺开,整个前台服务甚至车载语音的交互质感都会翻倍。

但这套做法同样藏着不小的隐患。模型如果完全靠听语音学对话,它的知识边界完全依赖听过的对话录音,缺乏文本大模型那种庞大的事实检索与逻辑推理能力,指望它回答复杂专业知识可能并不现实。此外,声音像真人到了毛骨悚然的地步,连笑声和抽泣都能仿造,电信诈骗和人机欺骗的风险也直线飙升。Block 限制公开访问、先招募安全团队测试,看起来确实是必须先迈过的一道门槛。

来源 (1)

  1. [1]
    techcrunch.com(在新标签页打开)原文techcrunch.com

每日 AI 内容精选