アリババが「Qwen2-VL」公開：2Bと7Bをオープンソース化、長尺動画にも対応

Qwen2-VLは、あらゆる解像度の画像や20分以上の動画を直接理解し、スマートフォンの画面操作や外部ツール呼び出しを行うビジュアルエージェントとしても機能するマルチモーダルAIモデルです。

アリババは今回、2Bと7Bの2つのサイズを商用利用可能なApache 2.0ライセンスでオープンソース化しました。コードはHugging Face Transformersのメインブランチに統合済みです。最も性能が高くGPT-4oに匹敵する72Bフラッグシップモデルは、クラウドAPI経由で利用できます。

何ができるのか

前世代のQwen-VLと比べ、画像の縦横比や解像度の制限がなくなりました。極端に縦長なWebページのスクリーンショットや歪んだ表、手書き文字まで、元のレイアウトを崩さずに読み取れます。

動画の理解力も大きく向上しました。20分を超える動画を入力し、特定シーンについての質問に答えさせたり、要約を作成させたり、リアルタイムに近い対話を行わせることが可能です。

端末操作を行うビジュアルエージェント機能も備えています。スマートフォンの画面UIを認識してタップ位置などを判断できるほか、画面情報をもとに外部APIを呼び出して荷物の追跡やフライト情報を取得するファンクションコーリングにも対応します。

ベンチマークにおいて、72BモデルはDocVQAやMathVistaなどでGPT-4oやClaude 3.5-Sonnetに迫る結果を示しています。軽量な7Bモデルも実用性が高く、最小の2Bモデルはモバイル端末などのエッジ環境向けに最適化されています。

仕組みと制限

従来のモデルは画像を正方形にリサイズしてトークン化することが多く、細部の潰れや歪みが発生しがちでした。Qwen2-VLは「ナイーブ動的解像度」を採用し、画像のネイティブな形状に合わせて動的なトークン数へと変換します。

アーキテクチャ面では、約6億パラメータのViTとQwen2言語モデルを組み合わせています。さらに、位置埋め込みを時間・高さ・幅の3つに分解するM-ROPEを導入し、テキストの1次元、画像の2次元、動画の3次元の空間情報を同時に処理できるようにしました。

一方で注意点もあります。動画内の音声を認識することはできず、知識のカットオフは2023年6月です。また、物体の正確なカウントや微細な文字認識、3D空間の把握にはまだ弱さがあります。

動かし方

ローカルで試す場合、2Bと7Bの重みはHugging FaceやModelScopeから入手可能です。ライブラリはソースからTransformersをインストールし、画像処理用のqwen-vl-utilsを併用することが推奨されています。vLLMによる高速推論にも対応しています。

最高精度の72Bを使いたい場合は、DashScopeに登録してAPIキーを取得すれば、OpenAI互換形式のエンドポイントから呼び出せます。

なぜ重要か

Qwen2-VLは、オープンソースの視覚言語モデルを一段上の実用水準へ引き上げたと評価できます。特に動的解像度とM-ROPEによって、文書解析と長尺動画認識という実務上の難所をしっかりクリアしてきました。

プライベートな書類を外部APIに送りたくない企業や開発者にとって、Apache 2.0で使える7Bモデルはコストパフォーマンスの高い有力な選択肢になります。音声入力に対応していない点は惜しまれますが、画像や動画を扱うエージェント開発なら、今すぐ触る価値が十分にあります。