QwenLM 釋出 QVQ-Max:給多模態大模型裝上深度推理引擎
QwenLM 正式釋出視覺推理模型 QVQ-Max 的首個版本。該模型不僅能解析影像與影片,還能展開深入推理;在 MathVision 評測中,延長思考過程能持續提升解題準確率。團隊計劃後續引入定位技術,並逐步將其拓展為能操作手機與電腦的視覺智慧體。
以前給大模型發一張幾何題的圖,它往往把上面的字母認全了,轉頭卻算出個離譜的答案。說白了,以前的視覺模型只是個「報菜名」的錄入員,能看清,但不會想。
通義千問團隊在去年 12 月試水過一款探索性質的 QVQ-72B-Preview,當時團隊自己也承認存在不少毛病。3 月 27 日,團隊正式推出了第一版視覺推理模型 QVQ-Max,把重點放在了「看著證據來思考」上。
思考時間越長,做題越準
QVQ-Max 不只是能識別圖片裡的東西,它最大的變化是把視覺訊號放進推理鏈條裡。
在 Multimodal 領域專門考高難度數學題的基準測試 MathVision 上,通義團隊做了一個測試:通過拉長模型的最大思考過程長度,QVQ-Max 在該基準上的準確率呈現出持續上升的趨勢。這說明給它留出充足的思考推理步驟,它就能對著圖表推演出更復雜的邏輯。
除了看懂靜止的圖片和複雜圖表,QVQ-Max 還能處理影片片段,比如根據當前正在發生的畫面,推測下一秒可能會發生什麼。
在實用場景上,團隊展示了幾個方向:學生可以用它解帶幾何圖形的數理難題;職場人可以讓它看圖表做資料分析和輔助寫程式碼;甚至丟給它一張草圖,它能幫你補充完善成完整作品,或者根據衣櫃照片給出穿搭建議。
下一步要當螢幕操作員
通義團隊很坦白地表示,目前的 QVQ-Max 只是第一個初始版本,後面還有好幾道坎要過。
接下來的最佳化重點包括引入 Grounding 技術,也就是給視覺定位打上錨點,反覆驗證視覺觀察到的細節到底對不對,從而減少看錯看漏的情況。
更有意思的是,團隊明確將未來的方向指向了「視覺智慧體(Visual Agent)」。他們計劃讓模型處理多步驟的複雜操作,比如直接看懂手機和電腦螢幕來替使用者操作裝置,甚至拿去玩遊戲。互動方式也不會停留在打字,後續會接入工具呼叫驗證和影像生成能力。
為什麼重要
我們認為,QVQ-Max 的推出標誌著大模型的「長考」機制正式全面滲透到了視覺領域。
之前 OpenAI 的 o1 系列把文本鏈條的推理時間拉長、換取準確率提升,但行業在多模態上一直缺一個同樣成熟的範式。QVQ-Max 在 MathVision 上的表現證實了:只要給視覺模型足夠的思考預算,它看圖解複雜邏輯的能力就能成比例增長。這對需要看工程圖紙、讀財務報表、拆解複雜流程圖的專業使用者來說,價值遠大於單純生成一段漂亮的描述。
不過隱患也同樣擺在眼前。看圖推理比純文本推理消耗的算力高得多,拉長思考時間意味著延遲和呼叫成本都會水漲船高。而且第一版模型尚未解決完全精準的定位錨定,一旦在第一步把圖紙上的關鍵數字看錯,後面想得再深也是南轅北轍。現在拿來當學習輔導或者頭腦風暴助手很合適,但真要放進全自動流程甚至讓它代操螢幕,顯然還需要等後續版本的驗證。
來源 (1)
- qwenlm.github.io(在新分頁開啟)原文qwenlm.github.io