跳到正文
IFAI

開源專案

智譜開源視覺模型 GLM-4.6V:原生支援工具呼叫,MIT 協議商用

首次發布 傳播指數 37

智譜 AI 開源 GLM-4.6V 系列視覺語言模型,涵蓋 106B 及 9B 的 Flash 版本,均採用寬鬆的 MIT 協議。新模型最大看點在於原生多模態工具呼叫,能直接把影像或截圖作為引數傳給工具,支援 128k 上下文。開發者無需中間文本轉換即可商用落地。

智譜開源視覺模型 GLM-4.6V:原生支援工具呼叫,MIT 協議商用
圖:venturebeat.com

智譜開源的 GLM-4.6V 是一套專門用來做視覺推理和自動化操作的多模態模型,最大的用處是能讓 AI 像看懂螢幕的人一樣,直接拿著截圖或圖片去呼叫各種外部工具。

這次開源包含兩個版本:一個是走雲端大模型路線的 106B 旗艦版 GLM-4.6V,另一個是專為低延遲和本地部署準備的 9B 輕量版 GLM-4.6V-Flash。兩個版本都直接採用 MIT 協議開源,允許自由商用、修改和二次分發,對需要私有化或離線部署的企業非常友好。

影像直接當引數餵給工具

以往的視覺模型用工具,往往要先把畫面拆解或轉譯成純文本,再傳給 API,中間經常丟失佈局或細節。GLM-4.6V 做了原生多模態函式呼叫,不僅能把截圖、圖片甚至影片幀直接當成引數餵給搜尋、裁剪或圖表識別工具,還能把工具生成的圖表或網頁快照直接接回推理鏈裡。

在底層架構上,模型採用基於 AIMv2-Huge 的 ViT 編碼器配合 MLP 投影層,並結合 LLM 解碼器。處理影片時引入了 3D 卷積和時序壓縮,同時帶有明確的時間戳標記,能做連續時序推理。

輸入限制也放得很開。它支援任意解析度和長寬比,最誇張能吃進 200 比 1 的全景長圖。兩個模型都支援 128k 上下文長度,相當於一次性塞進一本 300 頁的書,不管是批次審合同還是看長影片都沒太大壓力。

效能表現與怎麼用上它

官方公佈了 20 多個公開基準測試的成績。106B 版本在 MMBench、MathVista、MMLongBench 以及 ChartQAPro 等多項測試中拿到開源同量級的第一梯隊表現;9B 的 Flash 版本在輕量級測試裡也超過了 Qwen3-VL-8B 和自家的前代模型 GLM-4.1V-9B。

目前模型的權重和文件已經全部掛在 Hugging Face 上,配套程式碼和工具也放進了 GitHub。如果你不想自己折騰顯示卡,可以通過智譜相容 OpenAI 格式的 API 接入,也可以直接在網頁端體驗 demo,或者在 Hugging Face Spaces 上使用現成的桌面助手應用。

為什麼重要

如果你正在開發需要讀圖、操作前端介面或者解析複雜報表的 AI Agent,GLM-4.6V 很值得立刻拉下來試一試。過去開源界能做多模態工具呼叫的方案往往拼裝感很重,原生打通影像引數的成熟模型並不多,而 9B 版本更是在本地裝置跑端側 Agent 的極佳選擇。

最關鍵的還是 MIT 協議。相比很多附帶商用限制或月活門檻的開源模型,智譜這次給足了自由度,無論是做內部自動化工具還是打包進商業軟體都沒有法律顧慮。對於不想被閉源模型 API 綁架的團隊來說,這算是一個相當紮實的備選方案。

來源 (1)

  1. [1]
    venturebeat.com(在新分頁開啟)原文venturebeat.com

每日 AI 內容精選