Metaが「SAM 3」と「SAM 3D」を公開：テキスト指示で分割、2D画像から3D再構築

SAM 3 と SAM 3D は、Meta が公開した最新のコンピュータビジョンモデルです。SAM 3 は自然言語の文章を使って画像や動画内の対象を高精度に特定・追跡し、SAM 3D は 1 枚の 2D 写真から立体的な 3D モデルを直接生成します。

何ができるか：高度なプロンプト抽出と 2D からの 3D 化

従来のセグメンテーションモデルは「車」や「バス」といった定型ラベルしか認識できず、少し複雑な指示には対応できませんでした。SAM 3 はこの制限をなくし、「黄色いスクールバス」や「赤い野球帽」といった具体的な表現をそのまま理解します。さらにマルチモーダル LLM と組み合わせることで、「座っているが赤い帽子はかぶっていない人」といった条件付きの指定も可能です。

静止画だけでなく動画内の対象も正確にトラッキングできるほか、「青いシャツを赤いシャツに変える」といったテキスト指示による編集にも対応します。

一方の SAM 3D は、認識した物体や人物を 3 次元の立体データとして再構築します。物体や背景を担当する SAM 3D Objects と、体型を推計して人体を再現する SAM 3D Body で構成されており、写真 1 枚からゲームや VR 空間で使える 3D メッシュを作り出せます。

試し方と公開範囲

環境構築なしですぐに触れるウェブ上の Segment Anything Playground が公開されています。画像や動画をアップロードしてテキストを入力するだけで対象を切り抜いたり、SAM 3D で視点を変えて物体を配置し直したりできます。

公開範囲については、SAM 3 のモデル重み、ソースコード、評価ベンチマーク、論文がすべてオープンソースで提供されています。ただし立体生成を行う SAM 3D は現時点で重み全体が完全公開されているわけではなく、主に Playground 上での体験や、Facebook Marketplace の家具試し置き機能などに使われています。

なぜ重要か

動画編集ツールや画像処理パイプラインを開発している人にとって、SAM 3 は手作業のマスク作成を大幅に削減してくれる強力な基盤です。テキストを入力するだけで動画内の動く対象を綺麗に切り出せるため、自動化の幅が一気に広がります。

私たちは、単一の写真から実用的な 3D データを起こす技術の敷居が急速に下がっている点に注目しています。SAM 3D の重みが未公開である点は惜しいものの、専用のスキャナーを使わずともスナップ写真から 3D アセットを作れる未来がすぐそこまで来ていることを示しています。