阿里雲釋出 Qwen 3.5 Live Translate：邊看邊聽搞同傳，延遲僅 2.8 秒

如果你在國外餐廳指著選單點菜，或者看海外電商直播搶貨，光靠耳朵聽，很多時候同傳軟體根本摸不著頭腦。比如聽到「muscle」發音，模型很難猜出對方說的是肌肉，還是盤子裡的青口貝（mussel）。

阿里雲釋出了即時多模態翻譯模型 Qwen 3.5 Live Translate（具體型號為 Flash 版本）。它的思路很簡單也很直接：既然光聽容易搞錯，那就讓 AI 邊看邊聽。

既長了耳朵，又長了眼睛

Qwen 3.5 Live Translate 基於 Qwen 3.5-Omni 的 Thinker-Talker 架構打造。簡單來說，Thinker 負責同時接收交錯的視覺畫面和語音輸入，快速理解並翻譯成文字；Talker 則拿著翻譯文本和源音訊，完成即時的跨語言語音合成。

多了視覺上下文之後，很多翻譯死角一下子就通了。在電商直播場景裡，鏡頭前晃過包裝盒，模型能看著畫面上的引數和規格做精準翻譯；在智慧眼鏡應用場景裡，中國遊客在泰國看泰文選單點餐，AI 眼鏡就能結合鏡頭畫面和對話做端側翻譯，甚至還能理解文言文唸白。

除了能「看」，這次的語言覆蓋面也大幅擴容。輸入音訊和輸出文本的支援數量從前代的 18 種擴充到了 60 種，語音輸出也從 10 種增加到了 29 種，能應對多語言混合交流和各種口音。

延遲壓到 2.8 秒，還能借你的聲音說話

對同傳來說，翻得準是一回事，翻得快又是另一回事。

阿里雲這次採用了一種叫「Readable Unit（可讀單元）」的流式翻譯技術，簡單講就是把語音切成符合閱讀和語義習慣的小單元提前翻譯，不用等你說完整句話。官方資料顯示，它的首字延遲減少了 3.45 秒，平均語音到語音的每 token 延遲壓到了 2.8 秒。在 FLEURS 和 CoVoST2 等公共基準測試中，其準確率都超過了主流商業語音大模型。

另一個很有意思的功能是即時聲音克隆。你只要說一句話，系統就能抓取你的音色特徵，在即時翻譯時用你自己的聲音把外語說出來。無論是主播出海還是越洋開會，對面聽到的依然是「你」的聲音，不會變成毫無感情的機械播報音。

針對人名、地名和行業術語，它還配了即時 Hotword（熱詞）增強機制，支援企業根據會議或釋出會主題動態載入術語庫，避免關鍵引數被模型瞎猜。

目前阿里雲已經在其線上平臺放出了免費 Demo，任何人都能直接上手體驗。

為什麼重要

以往的同傳工具大多停留在「語音識別轉文本，再把文本翻譯出來朗讀」的三段式流程，資訊全在音訊裡轉，一旦遇到同音詞或現場環境雜亂就徹底抓瞎。把視覺上下文直接接入同傳引擎，從根本上改變了翻譯獲取上下文的方式。

對跨境主播、跨國團隊或者常跑海外的使用者來說，這意味著翻譯工具終於開始具備現場常識。以前需要額外敲字解釋的產品型號、螢幕上的 PPT 批註，現在直接亮給攝像頭就行。加上一句話搞定的即時聲音克隆，跨國溝通的生硬感會被大幅沖淡。

我們認為，阿里雲把這套模型直接做到了端到端和極低延遲，最聰明的地方在於抓住了出海直播和可穿戴裝置（如 AI 眼鏡）這兩個極其吃多模態的落地場景。它不僅逼著同類語音大模型補齊視覺輸入能力，也讓即時同傳從傳統的會議室聽寫，真正走向了所見即所譯的現場互動時代。