阿里開源端到端全模態模型 Qwen3-Omni：打通圖文音影片，延遲 211ms

Qwen3-Omni 是阿里開源的原生端到端全模態模型，把文本、影像、音訊和影片四種模態收進了一個模型裡。

它不需要在外部拼裝語音識別或文本轉語音模組，模型自身就能同時聽懂聲音、看懂畫面，並直接生成文本和語音回答。

它能做什麼

以往的多模態互動通常是串聯結構：語音先轉文字，大模型處理完文本，再呼叫語音合成，不僅延遲高，還會丟失語氣和情緒。Qwen3-Omni 走的是全原生路線，響應延遲降到了 211ms，基本接近真人接話的節奏。

在理解跨度上，它支援長達 30 分鐘的連續音訊輸入，用來處理長會議錄音或較長的音影片片段都沒問題。阿里稱其在 36 項音訊和音影片基準測試中，拿下了 22 項當前最好成績。

語言覆蓋方面，它支援 119 種語言的文本輸入、19 種語言的語音輸入，以及 10 種語言的語音直接合成輸出。模型還內建了工具呼叫能力，支援開發者直接通過系統提示詞來定義互動人設與行為風格。

開源規格與去哪試

阿里在 GitHub 放出了完整程式碼，並在 Hugging Face 和 ModelScope 上架了多個 30B 級別的權重，全部支援任意模態輸入到任意模態輸出。

這次開源的權重分為三個版本：針對指令跟隨對話的 Instruct 版、側重複雜推理的 Thinking 版，以及主打低幻覺音訊描述的 Captioner 版。根據託管平臺的標註，實際引數量在 32B 到 35B 之間。

如果不想本地配置環境，Hugging Face Spaces 上有官方搭建的線上 Demo，Qwen Chat 網頁端也上線了 Qwen3-Omni-Flash 可供體驗。想在本地跑起來的開發者，考慮到 30B 級別全模態的推流與計算需求，需要準備大視訊記憶體的 GPU 硬體或雲端算力。

為什麼重要

對於打算自研語音助手、智慧客服或即時互動機器人的團隊來說，Qwen3-Omni 是目前極少能拿到權重的端到端即時互動基座。

過去兼具低延遲和全模態能力的多屬於閉源商業 API。阿里把全模態做到了 30B 開源規模，並且一併提供了推理能力更強的 Thinking 權重，讓本地部署低延遲 Agent 成為可能。

不過，即時音影片流的工程落地遠比純文本複雜，併發時的視訊記憶體消耗和網路傳輸抖動都是現實挑戰。我們建議先在線上 Demo 裡充分測試自己的實際使用場景，算清部署硬體成本再考慮正式上線。