阿里开源端到端全模态模型 Qwen3-Omni：打通图文音视频，延迟 211ms

Qwen3-Omni 是阿里开源的原生端到端全模态模型，把文本、图像、音频和视频四种模态收进了一个模型里。

它不需要在外部拼装语音识别或文本转语音模块，模型自身就能同时听懂声音、看懂画面，并直接生成文本和语音回答。

它能做什么

以往的多模态交互通常是串联结构：语音先转文字，大模型处理完文本，再调用语音合成，不仅延迟高，还会丢失语气和情绪。Qwen3-Omni 走的是全原生路线，响应延迟降到了 211ms，基本接近真人接话的节奏。

在理解跨度上，它支持长达 30 分钟的连续音频输入，用来处理长会议录音或较长的音视频片段都没问题。阿里称其在 36 项音频和音视频基准测试中，拿下了 22 项当前最好成绩。

语言覆盖方面，它支持 119 种语言的文本输入、19 种语言的语音输入，以及 10 种语言的语音直接合成输出。模型还内置了工具调用能力，支持开发者直接通过系统提示词来定义交互人设与行为风格。

开源规格与去哪试

阿里在 GitHub 放出了完整代码，并在 Hugging Face 和 ModelScope 上架了多个 30B 级别的权重，全部支持任意模态输入到任意模态输出。

这次开源的权重分为三个版本：针对指令跟随对话的 Instruct 版、侧重复杂推理的 Thinking 版，以及主打低幻觉音频描述的 Captioner 版。根据托管平台的标注，实际参数量在 32B 到 35B 之间。

如果不想本地配置环境，Hugging Face Spaces 上有官方搭建的在线 Demo，Qwen Chat 网页端也上线了 Qwen3-Omni-Flash 可供体验。想在本地跑起来的开发者，考虑到 30B 级别全模态的推流与计算需求，需要准备大显存的 GPU 硬件或云端算力。

为什么重要

对于打算自研语音助手、智能客服或实时交互机器人的团队来说，Qwen3-Omni 是目前极少能拿到权重的端到端实时交互基座。

过去兼具低延迟和全模态能力的多属于闭源商业 API。阿里把全模态做到了 30B 开源规模，并且一并提供了推理能力更强的 Thinking 权重，让本地部署低延迟 Agent 成为可能。

不过，实时音视频流的工程落地远比纯文本复杂，并发时的显存消耗和网络传输抖动都是现实挑战。我们建议先在在线 Demo 里充分测试自己的实际使用场景，算清部署硬件成本再考虑正式上线。