Grok-1.5V 开启预览：首代多模态模型，主打物理世界空间理解

如果你的 AI 只能读文字，那它本质上还被困在纯数字的盒子里。

xAI 拿出了自己的第一款多模态模型 Grok-1.5 Vision（简称 Grok-1.5V）。这家成立不久的公司，终于让自家的大模型长出了眼睛。

按照 xAI 的说法，Grok-1.5V 不仅能看懂常规的文档、图表和截图，还能直接理解现实环境里的照片。它很快会先推送给早期测试人员和现有的 Grok 用户。

拿流程图直接写代码，还自己造了个基准

xAI 秀出的能力里，有一个很直观的例子：给它一张猜数字游戏的流程图，它就能直接把它还原成一段可运行的 Python 代码。

在常规的测试集上，Grok-1.5V 的表现基本跟第一梯队咬得很紧。比如在数学视觉评测 Mathvista 上拿到了 52.8%，压过了 GPT-4V 和 Claude 3 Opus；在图表理解 AI2D 上跑出 88.3%，也略高于 GPT-4V。

不过，它在多学科推理 MMMU 上拿到 53.6%，文档理解 DocVQA 拿到 85.6%，跟 Claude 3 Opus 和 Gemini Pro 1.5 相比还是互有胜负。xAI 特别强调，所有跑分都是在零样本、没加思维链提示词的条件下测出来的。

更有意思的是，xAI 这次顺手发布了一个叫 RealWorldQA 的新基准，专门测大模型对现实物理世界的空间理解。首发包含 700 多张带有问答的图片，很多视角直接来自车载摄像头。

在这个自己出的考卷上，Grok-1.5V 跑出了 68.7%，超过了 GPT-4V 的 61.4% 和 Gemini Pro 1.5 的 67.5%。xAI 已经把这个 677MB 的数据集按 CC BY-ND 4.0 协议公开了。

为什么重要

我们认为，Grok-1.5V 标志着 xAI 正式补齐了第一梯队必备的多模态拼图。

对用户来说，如果你平时需要把手绘草图转成代码，或者要 AI 快速提取设计图纸和现场照片里的信息，Grok 终于不再是个纯文本聊天玩具了。不过它目前只面向早期测试者和现有用户，普通人想用还得排队。

从行业角度看，xAI 的发力方向非常值得玩味。别的团队多模态拼的是读 PDF 报表或者做学术题，xAI 却把重点拉向了物理世界的空间理解，甚至测试集里大量塞入车载摄像头的真实图片。这很难不让人联想到马斯克手里的特斯拉自动驾驶和机器人业务。

看起来，xAI 很清楚在通用办公场景下卷图表并不占先发优势，所以选择直接押注现实世界数据的理解能力。隐患在于，单纯的多模态模型离真正的具身智能还有很大距离，光靠静态图片看懂空间，离真正能上车或进工厂干活，中间还隔着复杂的动力学和实时控制。但无论如何，能这么快追平多模态第一梯队，xAI 确实给行业施加了不小的压力。