Grok初のマルチモーダルモデル「Grok-1.5V」公開、空間理解を強化

テキストしか扱えないAIは、デジタルの箱の中に閉じ込められたままです。

xAIは4月12日、同社初となるマルチモーダルモデル「Grok-1.5 Vision（Grok-1.5V）」を発表しました。テキスト処理に加え、文書、図表、チャート、スクリーンショット、写真などの視覚情報を幅広く処理できるようになります。

同モデルは、早期テスターおよび既存のGrokユーザー向けに近日中に提供される予定です。

フローチャートを即座にコード化、独自ベンチマークも公開

xAIが公開したデモでは、数当てゲームのフローチャート画像を入力すると、モデルがそのロジックを読み取り、実行可能なPythonコードを直接生成する様子が示されました。

性能面では、推論プロンプトを使わないゼロショット環境で評価されています。数学的視覚ベンチマークのMathvistaで52.8パーセント、図表読解のAI2Dで88.3パーセントを記録し、GPT-4Vなどの主要モデルに匹敵、あるいは一部で上回る結果を示しました。

さらにxAIは、物理世界における空間認識能力を測る新しいベンチマーク「RealWorldQA」を発表しました。車載カメラや実世界の写真700枚以上で構成されたデータセットで、CC BY-ND 4.0ライセンスで無償公開されています。このテストでGrok-1.5Vは68.7パーセントを達成し、競合を上回ったとしています。

なぜ重要か

私たちは、Grok-1.5Vの登場によってxAIがマルチモーダル競争の最前線に正式に並んだと考えます。

ユーザー視点では、手書きの仕様書や画面キャプチャを渡してコードを書かせるといった実用的な使い道がようやく開けます。ただし、現時点では早期テスターや既存ユーザー向けに順次提供される段階であり、誰もがすぐに触れるわけではありません。

業界への影響として注目すべきは、物理世界の空間理解へのこだわりです。競合他社が学術論文やビジネス文書の処理を強調するなか、xAIは車載カメラの映像などをベンチマークに据えてきました。これはテスラをはじめとする自動運転やロボット分野との親和性を強く意識したものに見えます。

静止画での空間認識と、現場で動くAIエージェントの間にはまだ隔たりがありますが、追いつくスピードと差別化の打ち出し方は巧みです。