Metaが「SAM 3D」発表：2D画像から3D物体・人体を復元、重みもオープン化

SAM 3Dは、1枚の静止した2D写真から形状とテクスチャを持つ3Dアセットを復元するためにMetaが開発した新しいモデルファミリーです。ラインナップは2つに分かれており、家具や小物などの物体と背景シーンを担う「SAM 3D Objects」と、人体の三次元的な体型やポーズ推定に特化した「SAM 3D Body」で構成されています。

何ができるのか・試し方

従来の3D生成ツールは、背景のない人工的なCGアセットばかりを学習していたため、日常の雑然とした写真を入力すると形状が破綻しがちでした。SAM 3Dは自然な光線や遮蔽があるスナップ写真からでも、選択した対象を立体メッシュとして取り出せます。

Metaはすでにモデルの重み（チェックポイント）と推論コードをオープンソースとして公開しています。あわせて、現実世界の写真と3Dメッシュをペアにした評価用データセット「SAM 3D Artist Objects（SA-3DAO）」も近日中に公開される予定です。

ローカル環境を構築せずに試したい場合は、Web上の「Segment Anything Playground」が利用できます。手持ちの写真をアップロードし、対象の人物や物体を指定するだけでブラウザ上で3D再構築を体験できます。このプレイグラウンドには最新の基盤モデル「SAM 3」も搭載されています。

さらに実用面として、Facebook Marketplaceの「View in Room」機能にも本技術が組み込まれました。出品されているインテリアや家具を、購入前に自宅の部屋へ仮想配置してサイズやスタイルを確認できます。

なぜ実現できたのか

3D分野の最大の壁はデータの不足でした。テキストや2D画像に比べて正解となる3Dデータは桁違いに少なく、既存モデルの大半は合成アセットに頼らざるを得ず、現実世界の画像に対応できない「Sim-to-Realギャップ」を抱えていました。

そこでMetaは大規模言語モデル（LLM）の学習レシピを取り入れました。合成データをベースにした「事前学習」を行ったあと、現実の画像に合わせるための「事後学習（アライメント）」を組み合わせる二段構えです。

ゼロから3Dを作るにはプロの技術が必要ですが、モデルが出力した複数の候補メッシュを見比べてランク付けする作業なら誰でもできます。一般的な作業者に評価・採点を行わせ、判断が難しい極端なケースのみをプロの3Dアーティストに割り振るデータ収集エンジンを構築しました。

この仕組みにより、Metaは約100万枚の実世界写真に対して形状やテクスチャの注釈をつけ、約314万個のメッシュデータを生成しました。モデルが進化するほどデータ作成の精度も上がる正のフィードバックが働いています。

なぜ重要か

個人開発のゲームクリエイターやXR・メタバース制作を手がけるユーザーにとって、SAM 3Dはすぐに試す価値があります。これまでフォトグラメトリのように多数の角度から撮影しなければならなかった3D化の手間が、写真1枚で大幅に短縮されるためです。

Metaの賢い点は、モデル構造の変更だけで押し切るのではなく、LLMの事後学習手法を流用して現実データ収集の壁を真正面から突破したことです。写真に写っていない裏側を推測する限界はあるものの、3D再構築を実験室のデモから実用的な制作パイプラインへ一歩引き上げたと評価できます。