3D再構成モデル「RecGen」：重なり合う物体も1枚の画像から完全復元

散らかった机の写真をAIに見せると、何がどこにあるかはある程度認識できても、重なり合って隠れた部分まで正確な3Dモデルとして復元するのは極めて困難でした。

人間ならマグカップの陰にあるペンの形状を自然に推測できますが、これまでの画像認識では見えない部分が欠損したり、別の物体と合体してしまったりするのが普通でした。

研究チームはこの遮蔽問題に正面から挑む3D再構成フレームワーク「RecGen」を発表しました。

重なり合う物体をまるごと推論

RecGenへの入力は、深度情報を含んだ1枚または数枚のRGB-D画像だけで十分です。

画像を受け取ると、AIはまず各物体をセグメンテーションして切り出します。手前の障害物に大きく遮られて全体像が見えない物体であっても、学習済みの形状事前知識を活用し、隠れた領域の立体形状、表面テクスチャ、正確な空間配置まで同時に推測します。

雑然と物が詰め込まれたダンボールを一目見ただけで、底に埋もれた箱の向きやサイズを言い当てるような器用さです。

激しい遮蔽や対称的な物体を含む過酷なシーンでも、RecGenが復元した位置姿勢や外形は、正解データに極めて近い精度を示しました。

メッシュデータを8割削減しても精度は向上

この高い推論能力は、徹底的に作り込まれた合成データセットによって鍛えられました。

研究チームは約20万点の高品質3Dアセットと、300万枚を超える合成RGB-D画像を生成。仮想空間内で物体をランダムに配置し、回転させ、複雑に重ね合わせることで、実世界の乱雑さをシミュレートしました。

注目すべきはデータの効率性です。これまでの代表的手法であるSAM3Dと比べ、訓練に使用したメッシュ資産は約80％も少なくて済みました。

それにもかかわらず、形状の幾何学的品質は30.1％向上し、テクスチャ復元は9.1％、姿勢推定精度も33.9％改善という明確な成果を収めています。

なぜ重要か

私たちは、RecGenが単なるCG制作ツールにとどまらず、ロボティクス分野にとって重要なブレークスルーになると考えています。

家庭用ロボットが散らかった部屋で作業する場合、見えている部分だけでなく、隠れている物体の重心や向きを把握していなければ把持に失敗します。RecGenが示す遮蔽補完能力は、空間AIが物理世界と安全に関わるための必須ピースです。

実世界の大規模なスキャンデータに頼るのではなく、組み合わせを工夫した合成データによって学習効率を高めたアプローチも非常に賢明です。

一方で、現状では深度情報（RGB-D）の入力が前提となっており、一般的なスマートフォンの単眼カメラ写真では手軽に利用できません。推論されたメッシュをロボットの物理シミュレーションへ直ちに落とし込むには、さらなる実装の詰めが求められそうです。