Hume AI 開源語音模型 TADA：比同類快 5 倍且零幻覺，手機就能跑

TADA 是 Hume AI 開源的一款語音語言模型，全稱是 Text-Acoustic Dual Alignment。它最大的賣點，是把文本 token 和連續聲學向量做成了一對一繫結，讓基於大模型的語音合成第一次跑得又快、又省資源，而且在千餘個測試樣本里做到了完全不胡說八道。

目前官方已經把程式碼和預訓練權重全部放了出來，支援中文等 10 種語言，甚至輕量到可以直接塞進手機和邊緣裝置離線跑，不用依賴雲端 API。

它是怎麼做到既快又不結巴的

傳統的 LLM 語音合成方案有一個天生缺陷：一秒鐘的音訊包含的資訊量遠大於文本。一秒文字可能只有兩三個 token，但對應的聲音切片往往需要 12.5 到 75 個聲學幀。這導致模型上下文迅速被聲音擠爆，推演慢、視訊記憶體吃緊，稍微走神就會吞字、漏字甚至自己加戲。

TADA 換了個思路。它不再把音訊切碎成大量的離散編碼，而是直接將音訊特徵對齊到對應的文本 token 上，一個文字 token 對應一個連續聲學向量，兩者在模型內部步調一致地推進。

輸入音訊時，編碼器和對齊器把每個文字 token 對應的聲音特徵抓出來；輸出音訊時，語言模型的最終隱藏狀態直接作為條件向量，餵給流匹配（flow-matching）模組還原成音訊。因為每一步都嚴格一一對應，模型在結構層面就徹底斷絕了跳字或憑空造詞的可能。

效能、規格與已知短板

在推理速度上，TADA 的即時率（RTF）達到了 0.09，比同級別的 LLM 語音合成系統快了 5 倍以上。這主要歸功於它每秒音訊只需處理 2 到 3 幀，計算量被大幅壓縮。

在 LibriTTSR 資料集的 1000 多個樣本測試中，按照字元錯誤率超過 0.15 就算幻覺的標準，TADA 的幻覺率為零。同時它還能實現同步轉錄，生成聲音的當口文字就同步輸出了，不需要額外再掛一個語音識別模組。

更亮眼的是上下文效率。同樣是 2048 token 的上下文視窗，傳統方案撐大約 70 秒音訊就見底了，而 TADA 可以塞進大約 700 秒的音訊，支撐長文本朗讀和多輪對話毫無壓力。在 EARS 資料集的人工評測中，它的音色相似度拿到 4.18 分，自然度拿到 3.78 分，綜合排名第二，超越了不少用更多資料訓練的競品。

不過它目前也有侷限。當音訊長度拉得太長時，可能會出現說話人音色漂移的問題。官方雖然用線上拒絕取樣減輕了這一現象，但還沒有徹底解決，目前的建議是在長對話中適時重置上下文。

為什麼重要

對開發端側硬體、車載語音或注重隱私的本地應用的團隊來說，TADA 是一個非常值得立刻跟進的輪子。它把原本必須跑在雲端大算力叢集上的高質量語音互動，壓到了手機甚至嵌入式晶片能承受的量級，從根本上省掉了網路延遲和介面呼叫費用。

我們認為，TADA 最聰明的在於它沒有繼續在音影片切片壓縮的死衚衕裡打轉，而是用一對一對齊從架構根源上掐死了幻覺。對於醫療、金融這類對錯字零容忍的嚴苛場景，這種靠結構保證可靠性的方案，顯然比單純堆砌資料後訓練來得更加踏實。