跳到正文
IFAI

开源项目

智谱开源视觉模型 GLM-4.6V:原生支持工具调用,MIT 协议商用

首次发布 传播指数 37

智谱 AI 开源 GLM-4.6V 系列视觉语言模型,涵盖 106B 及 9B 的 Flash 版本,均采用宽松的 MIT 协议。新模型最大看点在于原生多模态工具调用,能直接把图像或截图作为参数传给工具,支持 128k 上下文。开发者无需中间文本转换即可商用落地。

智谱开源视觉模型 GLM-4.6V:原生支持工具调用,MIT 协议商用
图:venturebeat.com

智谱开源的 GLM-4.6V 是一套专门用来做视觉推理和自动化操作的多模态模型,最大的用处是能让 AI 像看懂屏幕的人一样,直接拿着截图或图片去调用各种外部工具。

这次开源包含两个版本:一个是走云端大模型路线的 106B 旗舰版 GLM-4.6V,另一个是专为低延迟和本地部署准备的 9B 轻量版 GLM-4.6V-Flash。两个版本都直接采用 MIT 协议开源,允许自由商用、修改和二次分发,对需要私有化或离线部署的企业非常友好。

图像直接当参数喂给工具

以往的视觉模型用工具,往往要先把画面拆解或转译成纯文本,再传给 API,中间经常丢失布局或细节。GLM-4.6V 做了原生多模态函数调用,不仅能把截图、图片甚至视频帧直接当成参数喂给搜索、裁剪或图表识别工具,还能把工具生成的图表或网页快照直接接回推理链里。

在底层架构上,模型采用基于 AIMv2-Huge 的 ViT 编码器配合 MLP 投影层,并结合 LLM 解码器。处理视频时引入了 3D 卷积和时序压缩,同时带有明确的时间戳标记,能做连续时序推理。

输入限制也放得很开。它支持任意分辨率和长宽比,最夸张能吃进 200 比 1 的全景长图。两个模型都支持 128k 上下文长度,相当于一次性塞进一本 300 页的书,不管是批量审合同还是看长视频都没太大压力。

性能表现与怎么用上它

官方公布了 20 多个公开基准测试的成绩。106B 版本在 MMBench、MathVista、MMLongBench 以及 ChartQAPro 等多项测试中拿到开源同量级的第一梯队表现;9B 的 Flash 版本在轻量级测试里也超过了 Qwen3-VL-8B 和自家的前代模型 GLM-4.1V-9B。

目前模型的权重和文档已经全部挂在 Hugging Face 上,配套代码和工具也放进了 GitHub。如果你不想自己折腾显卡,可以通过智谱兼容 OpenAI 格式的 API 接入,也可以直接在网页端体验 demo,或者在 Hugging Face Spaces 上使用现成的桌面助手应用。

为什么重要

如果你正在开发需要读图、操作前端界面或者解析复杂报表的 AI Agent,GLM-4.6V 很值得立刻拉下来试一试。过去开源界能做多模态工具调用的方案往往拼装感很重,原生打通图像参数的成熟模型并不多,而 9B 版本更是在本地设备跑端侧 Agent 的极佳选择。

最关键的还是 MIT 协议。相比很多附带商用限制或月活门槛的开源模型,智谱这次给足了自由度,无论是做内部自动化工具还是打包进商业软件都没有法律顾虑。对于不想被闭源模型 API 绑架的团队来说,这算是一个相当扎实的备选方案。

来源 (1)

  1. [1]
    venturebeat.com(在新标签页打开)原文venturebeat.com

每日 AI 内容精选