智譜AI、オープンソース視覚モデル「GLM-4.6V」公開：ツール呼び出しにネイティブ対応

智譜AIがオープンソース化した「GLM-4.6V」は、画像や動画を直接扱いながら外部ツールを呼び出せる最新の視覚言語モデルだ。画面を見ながらUIを操作したり、書類から図表を切り出したりするエージェント開発にそのまま役立つ。

モデルは2種類用意されている。クラウド向けの106B大型モデル「GLM-4.6V」と、ローカル環境や低遅延用途に適した9Bの軽量モデル「GLM-4.6V-Flash」だ。どちらも商用利用や改変が自由なMITライセンスで公開されており、派生物のソースコード開示義務もないため企業システムへ組み込みやすい。

画像をそのまま関数の引数に渡す仕組み

従来のマルチモーダルモデルでツールを使う場合、画像を一度テキストに変換してからAPIに渡すことが多く、レイアウトなどの情報が落ちやすかった。GLM-4.6Vはネイティブなツール呼び出しに対応しており、スクリーンショットや文書画像をそのまま関数のパラメータとして外部ツールに渡せる。

ツールの出力側に画像がある場合もシームレスだ。生成されたグラフやWebページのキャプチャを、そのまま推論プロセスの中に戻して思考を継続できる。

技術面では、AIMv2-HugeベースのViTエンコーダとMLPプロジェクタを採用している。動画フレームには3D畳み込みとタイムスタンプトークンを使い、時間軸の認識もこなす。画像のアスペクト比は最大200対1のパノラマまで対応し、コンテキスト長は12.8万トークンと長大だ。

性能と試し方

公開された20以上のベンチマークにおいて、106BモデルはMMBench、MathVista、MMLongBench、ChartQAProなどで同規模のオープンモデル中トップクラスのスコアを記録した。9BのFlashモデルもQwen3-VL-8Bや前世代のGLM-4.1V-9Bを上回っている。

モデルの重みとドキュメントはHugging Faceで公開されており、コードはGitHubで入手できる。OpenAI互換のAPI経由で試せるほか、WebデモやHugging Face Spaces上のデスクトップアシスタントアプリも用意されている。

なぜ重要か

画面操作や帳票処理を行うAIエージェントを作っている開発者なら、すぐに試す価値がある。マルチモーダルなツール呼び出しをネイティブに備え、かつローカルマシンで無理なく動く9Bクラスの選択肢は貴重だ。

さらに大きいのはMITライセンスである点だ。利用規約の制約に縛られず、社内の閉域環境や自社プロダクトへ気兼ねなく組み込める実用的なオープンモデルとして重宝されるはずだ。