跳到正文
IFAI

大模型

阿里釋出全模態模型 Qwen3.5-Omni:對著鏡頭說話就能寫網頁

首次發布 傳播指數 53

阿里 Qwen 團隊釋出原生全模態模型 Qwen3.5-Omni。它能同時理解文本、影像、音訊和影片,主打「視聽 Vibe Coding」,使用者對著攝像頭描述需求就能直接生成網站或小遊戲。其音訊表現超越 Gemini-3.1 Pro,原生支援處理 10 小時音訊或 400 秒影片。

阿里釋出全模態模型 Qwen3.5-Omni:對著鏡頭說話就能寫網頁
圖:x.com

以前我們讓 AI 寫網頁,得先把需求在輸入框裡敲成長篇大論,或者截幾張圖傳上去反覆對齊。

阿里巴巴 Qwen 團隊公佈了新一代原生全模態模型 Qwen3.5-Omni。有第三方報道也將其稱為 Qwen3.Omni。這次團隊推出的家族包括 Plus、Flash 和 Light 三個版本。

新模型最吸睛的演示是一個叫作「音影片氛圍編碼」(Audio-Visual Vibe Coding)的功能。你只要對著攝像頭比劃,嘴裡描述自己的想法,Qwen3.5-Omni-Plus 就能當場直接生成一個能跑的網站或小遊戲。

懂長影片,也能對標頂級選手

說白了,Qwen3.5-Omni 走的是原生統一處理文本、影像、音訊和影片的路線,而不是把幾個單模態小模型拼裝在一起。阿里表示整個模型是在超過 1 億小時的資料上訓練出來的。

在離線長內容處理上,它能原生吃下長達 10 小時的音訊,或者 400 秒的 720p 影片。它甚至能做劇本級的影片字幕解析,自動把時間戳、鏡頭切換點以及不同說話人是誰給梳理出來。

語言覆蓋面上,它支援識別 113 種語言的語音,並且能用 36 種語言進行語音合成。

在效能對比上,官方表示它在音訊理解方面超越了 Gemini-3.1 Pro,並在音影片綜合理解能力上與後者打平。

即時對話開始抓細節體驗

除了離線吃大檔案,這次的另一大重心是即時互動。過去和語音模型聊天,最大的痛點往往是它聽不懂你什麼時候說完,周圍有點雜音就胡亂搶話。

官方稱 Qwen3.5-Omni 改進了輪替機制,能分清使用者的真實意圖並過濾噪音。同時,它支援即時調節語速、音量和情緒,還內建了聯網搜尋和複雜的工具呼叫能力。

團隊還準備了聲音克隆功能,用一段簡短的音訊樣本就能定製模型的聲音,不過這項能力官方標註為工程化上線即將到來。目前使用者已經在 chat.qwen.ai 以及 Hugging Face 演示頁面體驗即時語音與影片互動,阿里雲百鍊也同步上線了離線與即時 API。

為什麼重要

對於開發者和獨立創作者來說,對著攝像頭邊講邊改程式碼的體驗,把原型驗證的門檻降到了極低。如果你想做個小工具或簡單遊戲,現在不需要先寫文件再轉成提示詞,直接拿草稿在鏡頭前晃一晃、嘴裡唸叨兩句就能看到效果,確實很值得立刻去網頁端上手試一下。

在行業層面,這看起來是開源與自研陣營對頭部閉源模型的一次緊密貼身肉搏。長期以來,即時音影片的原生多模態一直是 Google 和 OpenAI 的主打護城河,Qwen 拿音訊超越、音影片打平 Gemini-3.1 Pro 的表現直接公開叫板,會倒逼海外巨頭進一步加快多模態互動的降價與開放節奏。

我們認為,阿里的做法聰明在把全模態能力落在了「氛圍編碼」和「精細控音」這些非常具象的剛需場景上,而不是隻跑一堆抽象的分數。不過隱患也同樣擺在眼前:目前原生影片輸入上限還是 400 秒,處理更長的連續影片流顯然還需要妥協;此外聲音克隆仍在工程化落地的路上,如何兼顧即時低延遲與生成質量,真正到高併發生產環境裡才是考驗的開始。

來源 (1)

  1. [1]
    @Alibaba_Qwen(在新分頁開啟)原文x.com

每日 AI 內容精選