阿里发布视觉模型 Qwen2-VL：开源 2B/7B，支持 20 分钟长视频

Qwen2-VL 是阿里开源的新一代视觉语言模型，能帮你直接看懂任意尺寸的图片、长达 20 分钟以上的视频，还能当成视觉 Agent 去操作手机或者调用外部工具。

这次阿里把 2B 和 7B 两个较小尺寸的模型以 Apache 2.0 协议彻底开源了权重，代码也已经合并进 Hugging Face Transformers 主分支。至于参数量最大、性能对标 GPT-4o 的 72B 旗舰版，目前则是以 API 的形式在阿里云百炼平台上开放调用。

它能做什么

相比前代 Qwen-VL，这次最直观的变化是它不再挑图片的形状和清晰度。不管你丢给它一张极其狭长的网页长截图、扭曲的表格，还是一张随手拍下的手写草稿，它都能直接读懂图里的文字和排版结构。

视频理解能力也上了一个台阶。它现在支持 20 分钟以上的视频输入，你可以让它针对视频内容做总结、回答具体片段里发生的事，甚至以类似实时对话的方式充当私人助手。

另一个很有意思的功能是视觉 Agent。Qwen2-VL 可以看懂手机或者机器人的操作界面，理解屏幕上的按钮位置并做出决策，配合 Function Calling 还能根据看到的画面直接调接口查天气、航班或者快递状态。

在基准测试里，72B 版本在 DocVQA 文档问答、MathVista 数学推理、MTVQA 多语言图文理解等榜单上拿到了顶尖成绩，官方数据显示其多项表现已经能和 GPT-4o 以及 Claude 3.5-Sonnet 掰手腕。即便是最小的 2B 版本，也保留了视频和多语言能力，专门为端侧或移动设备部署做了优化。

它是怎么做到的

传统视觉模型通常需要把图片强制缩放到固定尺寸或者切成固定大小的网格，这很容易丢失高分辨率细节或者把长图压变形。

Qwen2-VL 引入了原生动态分辨率机制。它允许输入任意比例和分辨率的图像，直接映射成动态数量的视觉 token，图像原本是什么样，模型看到的就是什么样。

在底层架构上，模型沿用了大约 6 亿参数的 ViT 视觉编码器，并换上了 Qwen2 语言底座。为了同时处理图文和视频的时空关系，团队设计了多模态旋转位置编码 M-ROPE，把原本的位置编码拆解成时间、高、宽三个维度，让模型能同时捕捉一维文本、二维图像和三维视频的位置信息。

不过它也有几处明显的短板。模型目前无法提取视频中的声音，知识库只更新到 2023 年 6 月，而且在物体计数、字符精准识别以及三维空间感知这类细致任务上依然容易出错。

怎么跑起来

如果你想在本地折腾，2B 和 7B 版本的权重可以直接在 Hugging Face 或 ModelScope 上下载。因为相关代码刚刚合并，使用 Hugging Face Transformers 时建议直接从源码安装，并搭配官方提供的 qwen-vl-utils 工具包来处理 base64、图片链接或图文混排输入。推理加速方面，它也已经支持了 vLLM。

如果你不想准备本地显卡，只想体验效果最好的 72B 模型，可以在 DashScope 上申请 API Key，走兼容 OpenAI 格式的接口直接调用。

为什么重要

我们认为，Qwen2-VL 最大的价值在于把顶尖水平的多模态能力打成了真正的可用工具。以前开源视觉模型看长图容易糊、看视频基本靠抽几张关键帧，而 Qwen2-VL 靠动态分辨率和 M-ROPE 把文档和长视频这两大痛点补齐了。

对于需要做文档 OCR、表格解析或者开发自动化界面的团队来说，7B 模型给了一个兼顾成本与效果的本地部署选择，用 Apache 2.0 协议商用也省心；2B 版本则给端侧 Agent 留出了想象空间。虽然音频理解的缺席让它离真正的全模态还有一步，但就纯视觉与图文理解而言，它目前绝对是开源领域最值得马上尝试的选择之一。