騰訊混元開源 Hy-SimulMT：3 秒延遲中英同傳，還能即時克隆人聲

Hy-SimulMT 是騰訊混元開源的中英雙向即時同聲傳譯模型。它能一邊接收發言人的連續語音，一邊同步輸出翻譯後的文本和語音，並且支援即時聲音克隆，直接用原發言者的音色講出目標語言。

它能做什麼

傳統的即時翻譯往往把「語音轉文字、機器翻譯、文字轉語音」三步串成流水線，必須等整句話說完才開始翻，語意停頓和等待感非常明顯。

Hy-SimulMT 針對連續流式語音輸入優化了決策機制。它不必等發言人停頓，而是邊聽邊翻。為了把延遲壓低，模型採取「先開口、後修正」的策略，一旦拿到後續上下文，就會像人類同傳譯員那樣自然地做微調修正確認。

在生成語音時，配合 TTS 服務，模型能即時捕捉說話人的音色細節。如果在一場多人參與的多語種會議裡使用它，聽眾即便聽不懂原語言，也能通過聲音特徵分辨出當前是哪位嘉賓在發言。

規格與測試表現

Hy-SimulMT 採用混合專家（MoE）架構，總引數量為 300 億，但單次推理僅啟用約 30 億引數。模型提供了 BF16、FP8 以及量化版 GGUF 權重。完整權重體積約為 61GB，而壓縮後的 Q4 GGUF 版本降到了 20GB 左右。

在公開的長語音同傳評測集 RealSI 上，Hy-SimulMT 的流式翻譯延遲指標 StreamLAAL 約為 3 秒，在參與對比的開源模型與商業服務中延遲最低。其 GEMBA 翻譯質量得分不僅超過了對比的所有開源模型，還優於五款商業 API 中的四款。

在短語音基準上，它在 RealSI-Sentence 取得了 84.7 分，位列同類測試第一。為了檢驗真實效果，團隊還選取了 18 段涵蓋 AI、醫療、製造等 10 個領域的真實音影片，邀請持有 CATTI 一級和二級證書的專業同傳譯員進行對照測試。在這些樣本中，模型的翻譯質量達到了專業口譯員的水平，響應速度通常更快。

怎麼跑起來

專案採用寬鬆的 Apache 2.0 許可證開源。模型權重已經上傳至 Hugging Face 和 ModelScope，官方倉庫中同時提供了推理服務工具 SimulInfer 和訓練微調工具 SimulTrain。

本地部署需要一臺執行 Linux 系統、配備 Python 3.12+ 的機器，顯示卡驅動需支援 CUDA，環境依賴包含支援對應架構的 vLLM 0.31 或更高版本。進入 SimulInfer 目錄後，執行 deploy.sh 即可一鍵拉起支援 WebSocket 即時通訊的網頁服務。如果不想自己配置環境，也可以直接在手機端下載騰訊的 Hy Translate App 進行體驗。

為什麼重要

對於需要搭建跨語種會議系統、出海直播或多語言客服的開發者來說，Hy-SimulMT 提供了一個開箱即用且成本極低的基礎底座。30B 引數配合 MoE 架構讓它的算力消耗控制在合理範圍，20GB 的 GGUF 版本甚至讓單張消費級顯示卡部署即時同傳成為可能。

我們認為它最聰明的點在於拋棄了傳統的割裂流水線，用流式策略把中英翻譯延遲壓到了 3 秒級的實用區間。不過需要注意，即時語音克隆和語音輸出仍需要單獨掛載 TTS 模組；在法律條文、醫療診斷等對準確率要求極嚴的高風險場景下，具備明確追責機制的人工同傳依然不可替代。