Smallest.ai 釋出 Lightning V3:支援 15 語句中混說,耳語情緒可控
Smallest.ai 釋出專為對話智慧體打造的 TTS 模型 Lightning V3。模型支援英語、印地語等 15 種語言自動檢測及句中無縫混說,V3.2 版本支援用指令微調情緒與耳語。最關鍵的是,僅需 5 至 15 秒音訊即可克隆出帶自然語感的聲音。目前已開放免費體驗。

很多語音助手一開口,哪怕發音再標準、咬字再清晰,你還是能在三秒鐘之內聽出它是個機器。問題往往不在於它讀得準不準,而是它說話太像在朗讀課文,既沒有思考時的停頓,也不會隨著你的情緒變化語調。
做語音技術的初創團隊 Smallest.ai 最近推出了專為對話 Agent 設計的語音合成模型 Lightning V3,試圖解決的就是這種對話裡的假人感。
句中切語言,還能聽懂耳語指令
這次更新其實拆成了兩個版本。先上線的 Lightning V3.1 覆蓋了 15 種語言,除了英語、德語、法語等歐洲語種,還重點覆蓋了印地語、泰米爾語等印度常用語言。它最大的特點是支援自動語種檢測和句中無縫切語言。比如在印度或拉美地區,大家習慣在一句話裡混著說 Hinglish 或 Spanglish,傳統模型遇到這種混雜表達往往會結巴或卡殼,V3.1 可以在單詞層面直接切換。
另外,V3.1 還支援快速聲音克隆,只要餵給它 5 到 15 秒的真實人聲音訊,就能複製出帶有原聲特徵的聲音。為了解決生僻專有名詞容易唸錯的問題,它還提供了一套發音字典功能,允許開發者直接硬編碼修正品牌名或醫療術語的讀法。
隨後的 Lightning V3.2 則加入了指令遵循能力。以往調整 AI 的語調通常得靠複雜的引數微調,而 V3.2 允許直接輸入指令,控制聲音的情感狀態、音高、音量,甚至能直接發出極低能量的耳語聲音。目前 Lightning V3 已經上線,支援按量付費,也提供了免費試用額度。
跑分贏了 OpenAI,但官方卻說基準測試過時了
在流式對話評測集 Seed-TTS 的測試中,Lightning V3 拿到了 3.89 的 MOS 平均意見分,詞錯誤率降到了 5.38%。在與 OpenAI 的 gpt-4o-mini-tts 進行自然度對比時,官方採用大模型作為裁判,測出 Lightning V3 的勝率大約在 76%。
有意思的是,Smallest.ai 剛亮出這些好看的數字,轉頭就在官方部落格裡直言傳統的語音評測基準快失效了。他們指出,MOS 和詞錯誤率只能衡量一個模型讀得清不清楚,但這早就是行業的及格線了。當下的模型只要把音調拉得更誇張、情緒做得更充沛,跑分就會變高,但在真實對話中,這種過於用力演出來的熱情反而會讓人覺得虛假和疲憊。
人類在真實交流中,每 100 個詞通常會出現 5 到 6 次非流利停頓,包括短暫停頓、重複或自我修正。如果一個語音模型完全沒有為了組織語言而產生的節奏微調,它聽起來就像在照本宣科,根本不像在聽你說話。
為什麼重要
對於正在搭建 AI 外呼、語音客服或陪伴類機器人的團隊來說,Lightning V3 解決了一個很現實的痛點。很多企業此前哪怕接入了反應極快的大模型,使用者只要聽到對面那種字正腔圓的播音腔,就會立刻結束通話電話。能夠識別混合語言、能在 15 秒內快速克隆出帶有人味的聲音,讓它很適合拿來替換那些死板的自動語音應答系統。
在行業層面,語音合成賽道的競爭重心正在從單句朗讀質量轉向全雙工流式對話的真實感。當發音準確性不再拉開差距,誰能把延遲壓得更低、誰能模擬出人在思考時的猶豫與呼吸節奏,誰才能在智慧硬體和車載場景中立足。Smallest.ai 這一步走得相當敏銳,與其卷朗讀長文本的聽書場景,不如直接咬死多語言對話這一塊高頻市場。
不過,我們認為它的隱患依然存在。76% 擊敗 OpenAI 的測試結果是官方在大模型裁判下跑出來的,而在日常硬體回放或嘈雜網路環境下,這種微妙的呼吸感和語調優勢容易被壓縮損耗。耳語和情感指令雖然聽起來很酷,但如果上游大模型無法精準判斷對話氛圍,盲目給語音模組下達情緒標籤,反而容易引發更尷尬的對話翻車。
來源 (1)
- smallest.ai(在新分頁開啟)原文smallest.ai