Grok-1.5V 開啟預覽：首代多模態模型，主打物理世界空間理解

如果你的 AI 只能讀文字，那它本質上還被困在純數字的盒子裡。

xAI 拿出了自己的第一款多模態模型 Grok-1.5 Vision（簡稱 Grok-1.5V）。這家成立不久的公司，終於讓自家的大模型長出了眼睛。

按照 xAI 的說法，Grok-1.5V 不僅能看懂常規的文件、圖表和截圖，還能直接理解現實環境裡的照片。它很快會先推送給早期測試人員和現有的 Grok 使用者。

拿流程圖直接寫程式碼，還自己造了個基準

xAI 秀出的能力裡，有一個很直觀的例子：給它一張猜數字遊戲的流程圖，它就能直接把它還原成一段可執行的 Python 程式碼。

在常規的測試集上，Grok-1.5V 的表現基本跟第一梯隊咬得很緊。比如在數學視覺評測 Mathvista 上拿到了 52.8%，壓過了 GPT-4V 和 Claude 3 Opus；在圖表理解 AI2D 上跑出 88.3%，也略高於 GPT-4V。

不過，它在多學科推理 MMMU 上拿到 53.6%，文件理解 DocVQA 拿到 85.6%，跟 Claude 3 Opus 和 Gemini Pro 1.5 相比還是互有勝負。xAI 特別強調，所有跑分都是在零樣本、沒加思維鏈提示詞的條件下測出來的。

更有意思的是，xAI 這次順手釋出了一個叫 RealWorldQA 的新基準，專門測大模型對現實物理世界的空間理解。首發包含 700 多張帶有問答的圖片，很多視角直接來自車載攝像頭。

在這個自己出的考卷上，Grok-1.5V 跑出了 68.7%，超過了 GPT-4V 的 61.4% 和 Gemini Pro 1.5 的 67.5%。xAI 已經把這個 677MB 的資料集按 CC BY-ND 4.0 協議公開了。

為什麼重要

我們認為，Grok-1.5V 標誌著 xAI 正式補齊了第一梯隊必備的多模態拼圖。

對使用者來說，如果你平時需要把手繪草圖轉成程式碼，或者要 AI 快速提取設計圖紙和現場照片裡的資訊，Grok 終於不再是個純文本聊天玩具了。不過它目前只面向早期測試者和現有使用者，普通人想用還得排隊。

從行業角度看，xAI 的發力方向非常值得玩味。別的團隊多模態拼的是讀 PDF 報表或者做學術題，xAI 卻把重點拉向了物理世界的空間理解，甚至測試集裡大量塞入車載攝像頭的真實圖片。這很難不讓人聯想到馬斯克手裡的特斯拉自動駕駛和機器人業務。

看起來，xAI 很清楚在通用辦公場景下捲圖表並不佔先發優勢，所以選擇直接押注現實世界資料的理解能力。隱患在於，單純的多模態模型離真正的具身智慧還有很大距離，光靠靜態圖片看懂空間，離真正能上車或進工廠幹活，中間還隔著複雜的動力學和即時控制。但無論如何，能這麼快追平多模態第一梯隊，xAI 確實給行業施加了不小的壓力。