跳到正文
IFAI

开源项目

两名大学生零预算造出 Dia:16 亿参数开源语音模型直逼 ElevenLabs

首次发布 传播指数 49

韩国团队 Nari Labs 开源了文本转语音模型 Dia。该模型由两名几乎没有 AI 经验的本科生在零外部融资下开发,参数量为 16 亿,支持情绪语调、多说话人及笑声、咳嗽等副语言表达,对比测试表现逼平甚至超越 ElevenLabs。这也印证了个人开发者叫板行业巨头的可能性。

两名大学生零预算造出 Dia:16 亿参数开源语音模型直逼 ElevenLabs
图:therundown.ai

Dia 是韩国团队 Nari Labs 开源的文本转语音模型,参数量为 16 亿。它能生成极具表现力的人声对话,甚至不需要昂贵的商业 API。

如果你之前用过 ElevenLabs 或听过 Google NotebookLM 自动生成的双人播客,Dia 瞄准的就是这种高度自然的口语对话效果。

它能做什么

Dia 最亮眼的地方,是它对副语言和情绪细节的控制力。

常规语音合成模型遇到剧本里的笑声或叹气,往往会直接把字词念出来,或者发出一阵机械怪声。Dia 原生支持多说话人标签,能在同一段音频里自然切换角色。

在表现力上,它支持丰富的情绪语调,可以直接处理笑声、咳嗽甚至尖叫等非语言声音线索。

在 Nari Labs 公布的并排对比测试中,Dia 在发音时机节奏、整体情绪表现力以及非语言脚本的处理上,表现超过了商业标杆 ElevenLabs Studio 以及开源领域的 Sesame CSM-1B。

怎么做出来的

令人意外的是,这个模型是由两名几乎没有严肃 AI 研发背景的韩国本科生搞出来的,整个项目完全零外部融资。

开发者的灵感直接来自 Google 的 NotebookLM。他们想把那种极其逼真、带有插话和笑声的播客对话能力做成开源模型。

没有巨额算力预算,他们通过申请 Google 的 TPU Research Cloud 计划获取了训练算力,把 1.6B 规模的模型训练了出来。

创始人 Toby Kim 透露,开源基础模型只是第一步,团队接下来计划基于 Dia 开发一款面向社交内容创作和二次混音的消费级应用。

为什么重要

对于内容创作者和独立开发者来说,Dia 值得立刻关注。以前想要极高拟真度、带情绪起伏的有声书或播客配音,基本只能给 ElevenLabs 掏订阅费;Dia 证明了 1.6B 级别的小模型只要训练得当,在端到端表现力上完全能硬碰商业闭源服务。

我们认为,这件事最耐人寻味的地方在于门槛的瓦解。两名缺乏经验的本科生,靠着公开的研究计划算力和极强执行力,就做出了逼平数亿美元独角兽核心体验的模型。这也印证了 Sam Altman 那句「你直接动手做就行」并不是鸡汤,单兵开发者挑战巨头实验室的时代确实已经到了。

来源 (1)

  1. [1]
    @_doyeob_(在新标签页打开)原文x.com

每日 AI 内容精选