Hugging Faceが「Idefics2」公開：8Bの軽量オープン多言語視覚モデル

Idefics2は、Hugging Faceが公開した8Bパラメータのオープンマルチモーダルモデルです。テキストと画像が混在した入力を自由に受け取り、画像に関する質問への回答、視覚的な説明、複数画像に基づく文章作成、文書からの情報抽出や計算タスクをこなします。

前代モデルであるIdefics1の80Bからサイズを10分の1に圧縮しながら、性能は桁違いに進化しました。

何ができるのか

Idefics2の最大の武器は、大幅に強化されたOCRと文書理解能力です。画像内のテキストや表、チャートを読み取る学習データを集中的に注ぎ込んだ結果、同規模のモデルを圧倒する認識精度を獲得しました。

文書応答ベンチマークのDocVQAでは最高74.0を記録し、難度の高い視覚的推論を問うMathVistaでは51.6を達成しました。これは34BクラスのLLaVa-NeXTや30BクラスのMM1-Chatを上回り、超大型の商用モデルに肉薄する水準です。

トークン効率も優れています。画像分割を使わない場合は1枚あたりわずか64トークン、高解像度用の分割モードを使っても320トークンで処理できます。

どう実現したのか

ベースモデルには、言語側にMistral-7B-v0.1、視覚エンコーダにGoogleのsiglip-so400m-patch14-384を採用しています。どちらもオープンライセンスのモデルです。

アーキテクチャ面では、前作の複雑なゲート付きクロスアテンションを廃止しました。視覚エンコーダの出力を学習可能なPerceiverプーリングとMLP射影層に通し、テキスト埋め込みと直接連結するシンプルな構造に刷新しています。

画像入力はNaViTの手法を取り入れ、最大980x980まで元のアスペクト比と解像度のまま扱えます。画像を無理に正方形へリサイズする必要はありません。巨大な画像に対しては、4分割して処理する仕組みも備えています。

さらにHugging Faceは、ファインチューニング用に整備した50種類のデータセット集「The Cauldron」も同時にオープン化しました。

動かし方

モデルの重みとコードはすべてApache 2.0ライセンスで提供されており、商用利用が可能です。

最新のTransformersライブラリに統合されているため、AutoProcessorとAutoModelForVision2Seqを使って数行のPythonコードですぐに推論を試せます。特定のユースケースに向けた微調整用として、Google Colabノートブックも公開されています。

なぜ重要か

8Bというサイズは、単一のコンシューマ向けGPUで実用的に動かせる絶妙なラインです。重厚なインフラを用意できない開発者であっても、高精度な文書OCRや画像解析パイプラインを低コストで手元に構築できます。

モデル本体だけでなく、ベースとなったモデルや学習データセットThe Cauldronまで完全にオープンな形で揃えた点は、コミュニティにとって極めて堅牢な開発基盤となります。