Ai2が「WildDet3D」をオープンソース公開：1枚の写真から物体の3Dサイズを即座に推定

現在の画像認識AIは、写真の中に猫や椅子、ノートパソコンが写っていることを難なく言い当てられます。しかし、「その椅子はカメラから何メートル離れていて、実寸は何センチで、どちらを向いているか」と尋ねた途端、ほとんどのモデルは沈黙してしまいます。

現実空間でロボットやARを動かすためには、物体の名前だけでなく、物理世界における位置と寸法の把握が欠かせません。これまで単眼カメラから高精度な3D情報を引き出すには、専用のセンサーを用意するか、自動運転のような限定的なシーンに縛られるのが普通でした。

米非営利研究所のAi2は、単眼3D物体検出モデル「WildDet3D」をオープンソースで公開しました。スマートフォンのスナップ写真や広角アクションカメラ、ロボットの映像など、通常の単一RGB画像から物体の実世界における3Dバウンディングボックスを直接推定します。

テキスト入力やタップで即座に3D化

WildDet3Dの大きな特徴は、ユーザーの指示の出しやすさにあります。専門的な3D座標を指定する必要はありません。

例えば「モニター」や「紙」とテキストで入力するだけで、AIが映像内を分析し、対象の物体に奥行きやサイズを反映した3Dボックスを自動で配置します。雑多な部屋や野生動物が多数映るシーンでも、個々の位置関係を正確に捉えられます。

文字を打たなくても、画面上の対象をタップしたり、大まかな2Dの四角枠で囲ったりするだけで、モデルがその領域を瞬時に立体的な3Dボックスへと引き上げてくれます。

この柔軟性により、動画内でのゼロショット3Dトラッキングも可能です。一般的な2D物体追跡ツールの出力をWildDet3Dに渡すだけで、カメラが動いても空間内で物体を見失わずに3D位置を捉え続けることができます。

SAM3とDINOv2が支える軽量アーキテクチャ

複雑な3D幾何計算を高速にこなすため、WildDet3Dは効率的な並列アーキテクチャを採用しています。

内部では、SAM3をベースにした2D検出バックボーンが各種プロンプトを受け取り、物体を特定します。同時に、固定されたDINOv2エンコーダーと訓練可能な深度デコーダーがピクセル単位の深度を並行して推定します。これら2つの特徴量をクロスアテンションを用いた3D検出ヘッドで統合することで、位置・寸法・向きを統合した出力が得られます。

さらに、iPhoneなどに搭載されているLiDARやToFセンサーの粗い深度情報が得られる場合は、それを取り込んで精度を高める仕組みも備えています。Ai2はカメラ映像とLiDARを組み合わせ、iPhone上でリアルタイムに3D枠をAR重畳表示するデモアプリも公開しました。

モデル本体にとどまらず、100万枚以上の画像と1万3000カテゴリ以上に及ぶ370万件の検証済み3Dアノテーションデータセット、さらに訓練コード一式もすべて無償公開されています。

なぜ重要か

これまで空間知能の研究は、大規模な自動運転企業や一部の巨大テック企業が自前の閉じたデータで進めるケースが大半でした。

私たちは、Ai2が3D空間認識を単一の巨大モデルに抱え込ませず、既存のビジョン言語モデルやロボティクスパイプラインに外付けできる「空間推論レイヤー」として整理した点を高く評価しています。例えば同社のMolmo 2と連携させれば、ユーザーの自然な会話を理解した上で、実空間の精密な位置を把握するシステムが容易に組めます。

ロボット開発者やARクリエイターにとって、高価なステレオカメラや専用リグを用意することなく、手持ちの単眼映像からメートル単位の3D境界を取得できる価値は絶大です。

注意点として、モバイル向けのデモが動くとはいえ、フルモデルを端末内で最高精度・高フレームレートで常時駆動させるには、まだサーバー側の計算力や量子化の工夫が必要です。それでも、モデルから訓練コード、膨大な3Dデータまで完全に解放されたことで、オープンソースコミュニティにおける空間AIの開発スピードは一気に加速するはずです。