阿里釋出視覺模型 Qwen2-VL：開源 2B/7B，支援 20 分鐘長影片

Qwen2-VL 是阿里開源的新一代視覺語言模型，能幫你直接看懂任意尺寸的圖片、長達 20 分鐘以上的影片，還能當成視覺 Agent 去操作手機或者呼叫外部工具。

這次阿里把 2B 和 7B 兩個較小尺寸的模型以 Apache 2.0 協議徹底開源了權重，程式碼也已經合併進 Hugging Face Transformers 主分支。至於引數量最大、效能對標 GPT-4o 的 72B 旗艦版，目前則是以 API 的形式在阿里雲百鍊平臺上開放呼叫。

它能做什麼

相比前代 Qwen-VL，這次最直觀的變化是它不再挑圖片的形狀和清晰度。不管你丟給它一張極其狹長的網頁長截圖、扭曲的表格，還是一張隨手拍下的手寫草稿，它都能直接讀懂圖裡的文字和排版結構。

影片理解能力也上了一個臺階。它現在支援 20 分鐘以上的影片輸入，你可以讓它針對影片內容做總結、回答具體片段裡發生的事，甚至以類似即時對話的方式充當私人助手。

另一個很有意思的功能是視覺 Agent。Qwen2-VL 可以看懂手機或者機器人的操作介面，理解螢幕上的按鈕位置並做出決策，配合 Function Calling 還能根據看到的畫面直接調介面查天氣、航班或者快遞狀態。

在基準測試裡，72B 版本在 DocVQA 文件問答、MathVista 數學推理、MTVQA 多語言圖文理解等榜單上拿到了頂尖成績，官方資料顯示其多項表現已經能和 GPT-4o 以及 Claude 3.5-Sonnet 掰手腕。即便是最小的 2B 版本，也保留了影片和多語言能力，專門為端側或移動裝置部署做了最佳化。

它是怎麼做到的

傳統視覺模型通常需要把圖片強制縮放到固定尺寸或者切成固定大小的網格，這很容易丟失高解析度細節或者把長圖壓變形。

Qwen2-VL 引入了原生動態解析度機制。它允許輸入任意比例和解析度的影像，直接對映成動態數量的視覺 token，影像原本是什麼樣，模型看到的就是什麼樣。

在底層架構上，模型沿用了大約 6 億引數的 ViT 視覺編碼器，並換上了 Qwen2 語言底座。為了同時處理圖文和影片的時空關係，團隊設計了多模態旋轉位置編碼 M-ROPE，把原本的位置編碼拆解成時間、高、寬三個維度，讓模型能同時捕捉一維文本、二維影像和三維影片的位置資訊。

不過它也有幾處明顯的短板。模型目前無法提取影片中的聲音，知識庫只更新到 2023 年 6 月，而且在物體計數、字元精準識別以及三維空間感知這類細緻任務上依然容易出錯。

怎麼跑起來

如果你想在本地折騰，2B 和 7B 版本的權重可以直接在 Hugging Face 或 ModelScope 上下載。因為相關程式碼剛剛合併，使用 Hugging Face Transformers 時建議直接從原始碼安裝，並搭配官方提供的 qwen-vl-utils 工具包來處理 base64、圖片連結或圖文混排輸入。推理加速方面，它也已經支援了 vLLM。

如果你不想準備本地顯示卡，只想體驗效果最好的 72B 模型，可以在 DashScope 上申請 API Key，走相容 OpenAI 格式的介面直接呼叫。

為什麼重要

我們認為，Qwen2-VL 最大的價值在於把頂尖水平的多模態能力打成了真正的可用工具。以前開源視覺模型看長圖容易糊、看影片基本靠抽幾張關鍵幀，而 Qwen2-VL 靠動態解析度和 M-ROPE 把文件和長影片這兩大痛點補齊了。

對於需要做文件 OCR、表格解析或者開發自動化介面的團隊來說，7B 模型給了一個兼顧成本與效果的本地部署選擇，用 Apache 2.0 協議商用也省心；2B 版本則給端側 Agent 留出了想像空間。雖然音訊理解的缺席讓它離真正的全模態還有一步，但就純視覺與圖文理解而言，它目前絕對是開源領域最值得馬上嘗試的選擇之一。