マイクロソフト、軽量ビジョンモデル「Florence-2」をMITライセンスでオープンソース公開

Florence-2は、マイクロソフトがオープンソースとして公開した軽量な視覚基盤モデルだ。これひとつで、一般的なコンピュータビジョンタスクのほとんどをこなすことができる。

これまで画像AIの開発では、キャプション生成、物体検出、領域分割（セグメンテーション）ごとに別々の特化型モデルを用意して組み合わせるのが通例だった。Florence-2はそれらをすべて単一のプロンプト駆動型アーキテクチャに統合し、画像とテキストプロンプトを渡すだけで必要な結果をテキスト形式で出力してくれる。

何ができるのか、どう動いているのか

最大の特徴は、モデルサイズの圧倒的な小ささだ。提供されているのは232Mと771Mという2つのサイズのみで、一般的なPCやエッジ端末でも余裕を持って動作させられる。

内部アーキテクチャには画像エンコーダとマルチモーダルなエンコーダ・デコーダを組み合わせたシーケンス・ツー・シーケンス構成を採用している。物体検出のバウンディングボックスも領域分割も、すべてテキスト出力として統一的に扱う設計だ。

この統合を実現するため、マイクロソフトは1億2600万枚の画像に対して54億件のアノテーションを含むデータセット「FLD-5B」を独自に構築した。すべてのタスク表現をテキスト形式に標準化することで、単一の損失関数による効率的なマルチタスク学習を可能にしている。

巨大モデルを凌駕するベンチマーク結果

パラメータ数は控えめだが、テストでの性能は驚異的だ。

COCOデータセットを用いたゼロショットの画像キャプション評価において、232Mモデルは133、771Mモデルは135.6のスコアを記録した。これはパラメータ数が80BもあるDeepMindの巨大モデル「Flamingo」を上回り、マイクロソフト自社の視覚位置特定モデル「Kosmos-2」の記録をも塗り替えている。

さらに微調を行った下流タスクでも、ImageNetベースの事前学習モデルと比べて学習効率を4倍に引き上げ、COCOやADE20Kで5.5から6.9ポイントの性能向上を達成した。

モデルは事前学習版・ファインチューニング版ともにHugging Face上で公開されており、ライセンスは商用利用も可能なMITライセンスとなっている。

なぜ重要か

ローカル環境で画像処理パイプラインを組んでいるエンジニアや研究者にとって、Florence-2は今すぐ試す価値があるツールだ。タスクごとに異なるモデルを管理・運用するコストやVRAM消費を劇的に抑え、1つの小型モデルで大半の処理を完結させられる。

業界全体にとっても、膨大なテキスト化アノテーションを用いた学習手法が、小型モデルにこれほどの汎用性と精度をもたらすことを示した意義は大きい。巨大モデルに頼らずとも、端点デバイスで実用的な万能ビジョンAIが動く未来を現実的に引き寄せたと言える。