NVIDIA、画像・動画の特定箇所を詳細に言語化する「Describe Anything 3B」を公開

NVIDIAがオープンソースとして公開した「Describe Anything 3B（DAM-3B）」は、画像や動画内の特定エリアを指定して詳細な説明文を生成できる、パラメータ数30億（3B）のマルチモーダルモデルです。

一般的な画像認識AIは画面全体の要約を得意とする反面、背景の片隅にある小物や動画内の一瞬の動きを指定して説明させようとすると、細部を見落としたり文脈を取り違えたりしがちでした。DAM-3Bはその弱点を埋めるために作られています。

何ができるのか

DAM-3Bは対象領域の指定方法が非常に柔軟です。ユーザーは点、矩形の枠、手書きの落書き、あるいは精密なマスクを使って関心のある場所を指示できます。

領域を指定すると、モデルは全体の状況を把握した上で、その部分に絞った詳細なテキストを出力します。静止画だけでなく動画専用の「DAM-3B-Video」も用意されており、対象が動いたり一時的に障害物に隠れたりしても追従して言語化できます。

モデルの重みと論文はHugging Face上で誰でも入手可能です。

どう実現したのか

特定箇所だけを拡大すると周辺の文脈が失われ、全体だけを見ると細部が潰れてしまいます。NVIDIAはこの問題を「フォーカルプロンプト」と呼ばれる手法で解消しました。

画像全体と高解像度で切り抜いた対象領域を同時に取り込み、ゲート付きクロスアテンションを用いて両者の特徴を統合します。トークン数を無駄に増やさない設計になっており、計算効率を保ったまま言語モデルへ渡すことができます。

動画版では、フレームごとの領域マスクを時間軸に沿って統合することで、視点移動や激しい動きに対応できるようにしました。

また、高品質な局所ラベルデータの不足を補うため、半監督学習パイプラインを構築。既存のセグメンテーションデータとウェブ画像を組み合わせ、150万件の局所学習データを整備してセルフトレーニングで精度を高めています。

ベンチマーク結果

評価にあたって、チームは属性レベルでの正しさを採点する「DLC-Bench」を導入しました。あらかじめ用意された正解文と単語が完全一致するかどうかではなく、特徴を捉えているかを測る基準です。

このDLC-Benchにおいて、わずか3BサイズのDAM-3Bは平均精度67.3%を記録し、GPT-4oやVideoReferなどの競合を上回りました。

LVISやPACO、Flickr30k Entitiesといった単語・フレーズ単位のテスト、さらにRef-L4やHC-STVGなどの複数文による詳細描写テストでもトップクラスの性能を示しています。

なぜ重要か

巨大な汎用モデルにすべてを任せるのではなく、3Bという扱いやすいサイズで「指定した場所を正確に読む」特化型モデルを成立させた点が非常に実用的です。

ロボットの視覚認識や精密な動画アノテーション、アクセシビリティ支援ツールなどでは、高価なクラウドAPIを叩き続けるよりも、エッジやローカル環境で軽快に動く軽量モデルが求められます。

画像や映像の精密解析を行っている開発者は、すぐに試す価値があります。あくまで局所の観察と描写に特化したモデルであるため、複雑な文脈推論を行う場合は汎用LLMと組み合わせて使うのが現実的です。