順不同の写真数枚から3D空間を復元する「AnyRecon」が登場

部屋や街角を 3D モデル化しようとしたことがある人なら、その面倒さはよく知っているはずです。被写体の周りを慎重に回りながら隙間なく連続写真を撮る必要があり、順序を間違えたり撮影角度に穴があったりすると、従来のアルゴリズムはすぐに破綻してしまいます。

研究チームは新たな 3D 再構成フレームワーク「AnyRecon」を発表しました。最大の特徴は、歩き回りながら適当に撮影した数枚の順不同な写真からでも、破綻のない一貫した 3D シーンや点群を復元できる点にあります。

空間の「メンタルマップ」を保持する仕組み

従来の非生成型 3D 再構成は、写真の枚数が少なかったり視点の重なりが不十分だったりすると機能しません。そこで近年は、拡散モデルを使って欠落した視点をAIに生成補完させる手法が登場していました。しかし ViewCrafter や Uni3C といった既存ツールは、一度に 1〜2 枚のフレームしか参照できないものが多く、カメラが大きく動くと空間の整合性が崩れてしまう弱点がありました。

AnyRecon は、シーン全体の記憶を保持し続けるアプローチでこの問題を解消しています。

モデル内に撮影視点のキャッシュによるグローバルシーンメモリを構築し、時間的圧縮を排除することで、視点が大きく飛んでもフレーム同士の対応関係を見失いません。さらに、明示的な 3D 幾何メモリと視点検索を組み合わせることで、生成と幾何的一貫性を強固に結びつけています。

計算コストを抑える工夫も抜かりありません。4 ステップの拡散蒸留とコンテキストウィンドウ疎アテンションを採用し、計算量の爆発を防いでいます。

わずか 2 枚の写真からでも空間を補完

公開されたデモでは、その頑健さがはっきりと示されています。

ランダムなアングルから撮った 5 枚の写真を放り込むだけで、完全な 3D シーンを構築できます。別の例では、同じ場所のまったく異なるエリアを写した 4 枚の写真から、継ぎ目を感じさせずに空間を滑らかに繋ぎ合わせました。

さらに過酷なテストとして、入力視点がわずか 2 つしかない状況でも、欠けた空間を違和感なく補完してリアルな 3D シーンを生成できています。従来のツールと比べても、細部のディテールが潰れず、空間の歪みが格段に抑えられているのが特徴です。

なぜ重要か

私たちが注目するのは、AnyRecon が 3D スキャンにおける「丁寧な連続撮影」という儀式を過去のものにしようとしている点です。

クリエイターやインディー開発者にとって、現実空間の 3D 資産化にかかるコストは劇的に下がります。専用アプリで慎重に軌道を描きながら撮影しなくても、スマートフォンに残っていた数枚の雑な写真から実用的な 3D 背景やアセットを起こせる可能性が広がります。

業界全体にとっても、生成 AI の「補完力」と従来の「幾何的正確さ」をいかに両立させるかという難問にひとつの明確な回答を示しました。グローバルメモリで空間構造を束縛すれば、拡散モデルは単なる絵描きではなく、頼れる 3D モデラーになれることを証明しています。

現時点ではまだ研究段階であり、極端な遮蔽物や強い反射光のある環境でどれだけ破綻なく動くかといった検証はこれからです。それでも、バラバラの静止画から頭の中に空間全体を描き出すようなこのアプローチは、極めて賢い進化と言えます。