跳到正文
IFAI

開源專案

阿里開源視覺語言模型 Qwen-VL:看圖解題,還能講故事

首次發布 傳播指數 48

週五,Alibaba 開源兩款視覺語言模型 Qwen-VL 與 Qwen-VL-Chat。模型支援更高解析度的影像讀取,能識別街標指路、根據照片解數學題,甚至串聯多張圖講故事。開發者可以直接在魔搭社群和 Hugging Face 下載並做微調。

阿里開源視覺語言模型 Qwen-VL:看圖解題,還能講故事
圖:finance.yahoo.com

Qwen-VL 和 Qwen-VL-Chat 是 Alibaba 剛開源的兩款視覺語言模型,能直接看懂圖片並用自然語言回答問題。

和純文本對話模型不同,它們把視覺資訊和語言處理接在了一起。你可以直接給它喂一張或多張圖片,讓它理解畫面內容、提取細節,甚至完成跨圖的多步推理。

它能做什麼

基礎版的 Qwen-VL 是一個影像理解底座,主要提升了對高解析度圖片的讀取能力,看圖更清晰,識別細節更準。

面向對話和互動的 Qwen-VL-Chat 則支援更復雜的日常任務。比如隨手拍一張醫院裡的中文指路牌,它能識別文字並翻譯成英文,幫外國患者指明路線。

它還能拍下書本上的數學公式直接解題,或者幫你給新聞照片寫一段準確的新聞配圖說明。

更實用的是跨圖理解能力。你可以一次性給它傳幾張連貫的照片,它能理清先後邏輯,把它們串成一個完整的故事。

在無障礙場景下,它也能充當視障人士的眼睛。視障使用者在超市裡掃一下商品,它就能把包裝上的標籤和成分讀出來。

怎麼跑起來與開放程度

這兩款模型都是基於本月早些時候放出的開源語言模型 Qwen-7B 和 Qwen-7B-Chat 構建的,等於給開源大語言模型加上了視覺感知能力。

Alibaba 已經把它們開放出來,開發者可以在阿里雲的魔搭社群(ModelScope)以及 Hugging Face 上直接下載程式碼與模型權重。

因為是完全開源,你不需要從零去訓一個昂貴的多模態大模型,可以直接拿到本地或雲端做特定任務的微調,開發自己的看圖問答應用。

為什麼重要

開源社群一直缺好用的多模態看圖模型。之前大多數開源專案還停留在純文本生成上,想做圖文混排、圖片問答,往往只能等閉源 API,或者自己拼湊小模型。

我們認為,Qwen-VL 的開源把多模態門檻大幅拉低了。如果你在做視覺無障礙、文件識別、電商圖文檢索或者特定垂直場景的影像助手,現在可以直接拿現成的開源權重調優。

不過,要在實際業務裡落地,多圖上下文的穩定性和複雜數學題的推導準確度依然需要開發者自己在真實資料上壓測驗證。

來源 (1)

  1. [1]
    finance.yahoo.com(在新分頁開啟)原文finance.yahoo.com

每日 AI 內容精選