阿里云发布 Qwen 3.5 Live Translate：边看边听搞同传，延迟仅 2.8 秒

如果你在国外餐厅指着菜单点菜，或者看海外电商直播抢货，光靠耳朵听，很多时候同传软件根本摸不着头脑。比如听到「muscle」发音，模型很难猜出对方说的是肌肉，还是盘子里的青口贝（mussel）。

阿里云发布了实时多模态翻译模型 Qwen 3.5 Live Translate（具体型号为 Flash 版本）。它的思路很简单也很直接：既然光听容易搞错，那就让 AI 边看边听。

既长了耳朵，又长了眼睛

Qwen 3.5 Live Translate 基于 Qwen 3.5-Omni 的 Thinker-Talker 架构打造。简单来说，Thinker 负责同时接收交错的视觉画面和语音输入，快速理解并翻译成文字；Talker 则拿着翻译文本和源音频，完成实时的跨语言语音合成。

多了视觉上下文之后，很多翻译死角一下子就通了。在电商直播场景里，镜头前晃过包装盒，模型能看着画面上的参数和规格做精准翻译；在智能眼镜应用场景里，中国游客在泰国看泰文菜单点餐，AI 眼镜就能结合镜头画面和对话做端侧翻译，甚至还能理解文言文念白。

除了能「看」，这次的语言覆盖面也大幅扩容。输入音频和输出文本的支持数量从前代的 18 种扩充到了 60 种，语音输出也从 10 种增加到了 29 种，能应对多语言混合交流和各种口音。

延迟压到 2.8 秒，还能借你的声音说话

对同传来说，翻得准是一回事，翻得快又是另一回事。

阿里云这次采用了一种叫「Readable Unit（可读单元）」的流式翻译技术，简单讲就是把语音切成符合阅读和语义习惯的小单元提前翻译，不用等你说完整句话。官方数据显示，它的首字延迟减少了 3.45 秒，平均语音到语音的每 token 延迟压到了 2.8 秒。在 FLEURS 和 CoVoST2 等公共基准测试中，其准确率都超过了主流商业语音大模型。

另一个很有意思的功能是实时声音克隆。你只要说一句话，系统就能抓取你的音色特征，在实时翻译时用你自己的声音把外语说出来。无论是主播出海还是越洋开会，对面听到的依然是「你」的声音，不会变成毫无感情的机械播报音。

针对人名、地名和行业术语，它还配了实时 Hotword（热词）增强机制，支持企业根据会议或发布会主题动态加载术语库，避免关键参数被模型瞎猜。

目前阿里云已经在其在线平台放出了免费 Demo，任何人都能直接上手体验。

为什么重要

以往的同传工具大多停留在「语音识别转文本，再把文本翻译出来朗读」的三段式流程，信息全在音频里转，一旦遇到同音词或现场环境杂乱就彻底抓瞎。把视觉上下文直接接入同传引擎，从根本上改变了翻译获取上下文的方式。

对跨境主播、跨国团队或者常跑海外的用户来说，这意味着翻译工具终于开始具备现场常识。以前需要额外敲字解释的产品型号、屏幕上的 PPT 批注，现在直接亮给摄像头就行。加上一句话搞定的实时声音克隆，跨国沟通的生硬感会被大幅冲淡。

我们认为，阿里云把这套模型直接做到了端到端和极低延迟，最聪明的地方在于抓住了出海直播和可穿戴设备（如 AI 眼镜）这两个极其吃多模态的落地场景。它不仅逼着同类语音大模型补齐视觉输入能力，也让实时同传从传统的会议室听写，真正走向了所见即所译的现场交互时代。