跳到正文
IFAI

開源專案

兩名大學生零預算造出 Dia:16 億引數開源語音模型直逼 ElevenLabs

首次發布 傳播指數 49

韓國團隊 Nari Labs 開源了文本轉語音模型 Dia。該模型由兩名幾乎沒有 AI 經驗的本科生在零外部融資下開發,引數量為 16 億,支援情緒語調、多說話人及笑聲、咳嗽等副語言表達,對比測試表現逼平甚至超越 ElevenLabs。這也印證了個人開發者叫板行業巨頭的可能性。

兩名大學生零預算造出 Dia:16 億引數開源語音模型直逼 ElevenLabs
圖:therundown.ai

Dia 是韓國團隊 Nari Labs 開源的文本轉語音模型,引數量為 16 億。它能生成極具表現力的人聲對話,甚至不需要昂貴的商業 API。

如果你之前用過 ElevenLabs 或聽過 Google NotebookLM 自動生成的雙人播客,Dia 瞄準的就是這種高度自然的口語對話效果。

它能做什麼

Dia 最亮眼的地方,是它對副語言和情緒細節的控制力。

常規語音合成模型遇到劇本里的笑聲或嘆氣,往往會直接把字詞念出來,或者發出一陣機械怪聲。Dia 原生支援多說話人標籤,能在同一段音訊裡自然切換角色。

在表現力上,它支援豐富的情緒語調,可以直接處理笑聲、咳嗽甚至尖叫等非語言聲音線索。

在 Nari Labs 公佈的並排對比測試中,Dia 在發音時機節奏、整體情緒表現力以及非語言指令碼的處理上,表現超過了商業標杆 ElevenLabs Studio 以及開源領域的 Sesame CSM-1B。

怎麼做出來的

令人意外的是,這個模型是由兩名幾乎沒有嚴肅 AI 研發背景的韓國本科生搞出來的,整個專案完全零外部融資。

開發者的靈感直接來自 Google 的 NotebookLM。他們想把那種極其逼真、帶有插話和笑聲的播客對話能力做成開源模型。

沒有鉅額算力預算,他們通過申請 Google 的 TPU Research Cloud 計劃獲取了訓練算力,把 1.6B 規模的模型訓練了出來。

創始人 Toby Kim 透露,開源基礎模型只是第一步,團隊接下來計劃基於 Dia 開發一款面向社交內容創作和二次混音的消費級應用。

為什麼重要

對於內容創作者和獨立開發者來說,Dia 值得立刻關注。以前想要極高擬真度、帶情緒起伏的有聲書或播客配音,基本只能給 ElevenLabs 掏訂閱費;Dia 證明了 1.6B 級別的小模型只要訓練得當,在端到端表現力上完全能硬碰商業閉源服務。

我們認為,這件事最耐人尋味的地方在於門檻的瓦解。兩名缺乏經驗的本科生,靠著公開的研究計劃算力和極強執行力,就做出了逼平數億美元獨角獸核心體驗的模型。這也印證了 Sam Altman 那句「你直接動手做就行」並不是雞湯,單兵開發者挑戰巨頭實驗室的時代確實已經到了。

來源 (1)

  1. [1]
    @_doyeob_(在新分頁開啟)原文x.com

每日 AI 內容精選