網易有道開源流式語音模型 R2T2：延遲低至 200ms，只追加不改字

Confucius4-R2T2（簡稱 R2T2）是網易有道開源的即時流式語音識別模型，能把麥克風裡的聲音幾乎無延遲地轉成文字。如果你受夠了即時字幕在螢幕上反覆跳字、回退改寫，這個專案專門就是為了解決這個問題來的。

它能做到什麼

R2T2 最大的特色是「只追加不改字」（append-only）。以往不少流式模型會先猜一個詞，等聽到後半句發現不對再撤回修改，這會導致螢幕上的字幕瘋狂閃爍，接在後面的大模型 Agent 也會拿到混亂的上下文。

R2T2 吐出來的字一旦輸出就永久固定，絕不回改。它的平均延遲在 200 到 600 毫秒之間，解碼塊大小可以在 80 毫秒到 2 秒之間自由調節，預設以 160 毫秒執行。

更難得的是，很多流式模型為了趕速度會犧牲識別率，但 R2T2 在保留極低延遲的同時，識別準確率幾乎沒有向離線轉錄妥協。

怎麼做到的與實測表現

該模型基於阿里開源的 Qwen3-ASR 打造。網易有道在訓練中加入了穩定字首資料、強制時間對齊和詞元級音訊切分，並結合了一套最長穩定字首（LSP）學習範式。

簡單來說，就是讓模型自己動態判斷：手頭的音訊到底足不足以安全輸出確定的文字，還是需要再等一小截後文語境。這樣既保證了已輸出部分不被推翻，又為後續預測提供了高質量上下文。

在英文詞錯誤率（WER）和中文字錯誤率（CER）的基準測試中，R2T2 在主流開源模型（包括 WhisperRT、Nemotron、Voxtral）中拿下了最低的錯誤率和更優的延遲表現，在對比測試中也展現出了逼近 GPT-Live-Transcribe 等專有商業系統的水準。此外，模型原生支援上下文和熱詞提示，主要針對中英雙語最佳化，同時也支援更廣泛的語種。

怎麼跑起來

它的部署門檻非常低。模型權重和執行開銷只有大約 4GB，絕大多數消費級顯示卡都能直接裝下。

推理端支援高吞吐的 vLLM 和 Hugging Face transformers 兩種後端。官方推薦使用預裝好環境的 Docker 映象，掛載權重後一行指令碼就能跑通。

如果你習慣本地開發，用 uv 或 Conda 配合 Python 3.12 也能快速配置。官方倉庫裡甚至直接自帶了一個 WebSocket 即時服務端和客戶端示例，配合語音活動檢測（VAD）模組，拉下來就能搭出一套支援多客戶端併發的轉錄服務。

為什麼重要

如果你正在開發即時雙語字幕、會議同傳記錄，或者打算給大模型智慧體接上一雙低延遲的耳朵，R2T2 非常值得你今天就下載試試。過去做低延遲語音轉寫，要麼忍受字幕反覆跳字對下游造成的干擾，要麼花大錢呼叫商業介面；R2T2 把這兩頭的痛點都抹平了。

我們認為，網易有道把「穩定字首」做成訓練目標是非常聰明的做法，它把語音識別真正變成了下游程式可以直接消費的穩定事件流。不過目前官方的技術報告還沒有正式上線，在複雜多語種和嘈雜環境下的泛化能力，也還需要在實際業務場景裡繼續觀察。