3D生成のPixWorld：潜在空間を排し、ピクセル空間で再構成と生成を統一

AIで3D空間を生成しようとすると、これまでは大きなジレンマがありました。計算コストを抑えるために潜在空間で拡散処理を行うと、VAEを通す過程でディテールが失われ、不自然なノイズや歪みが生じやすかったのです。

2026年7月6日に公開された論文「PixWorld」は、この潜在空間をまるごと排除し、ピクセル空間上で3Dシーンの再構成と生成を統合する手法を提示しました。

VAEを捨て、ピクセル空間で直接3Dガウシアンを出力

従来の3D生成モデルの多くは、画像を低次元の潜在特徴量に圧縮してから処理していました。しかし、モデルが最適化しているのは中間表現であり、最終的な3Dの見た目そのものではありません。

PixWorldは事前学習済みのVAEやRAEを一切使わず、カメラ姿勢付きのマルチビュー画像をクリーンな視点（再構成用）とノイズ付き視点（生成用）に分けて入力します。

これを2系統のDiffusion Transformerで処理し、1回のフォワードパスでピクセル整合した3D Gaussian表現をデコードします。レンダリングされた画像に対して直接ピクセル空間のフロー・マッチング損失を適用するため、最適化がそのまま見た目の忠実度に直結します。

また、平坦なテクスチャの貼り付けに終わらないよう、π³やVGGTといったフリーズされた3D基盤モデルの特徴空間を活用した幾何認識損失も導入しました。これにより、2Dの見栄えだけでなく正確な3D構造を学習させています。

生成速度も極めて高速です。蒸留を施した4ステップモデルでは、1つのシーンを約0.6秒で生成可能とされており、従来の拡散型ワールド生成モデルと比較して最大1000倍高速だと主張されています。プロジェクトページにはコード枠が用意されており、データセットや重みの公開が予定されています。

なぜ重要か

ゲーム開発者や映像制作者、ロボティクスの研究者にとって、1枚から数枚の画像を入力するだけで、わずかコンマ数秒で歩き回れる3D空間が手に入る価値は絶大です。試作やシーンの拡張作業が劇的に短縮されます。

PixWorldの優れた点は、これまで「重すぎて実用的ではない」と見なされていたピクセル空間での直接最適化が、3Dガウシアン表現や幾何損失の組み合わせによって十分に成立し、むしろ圧倒的な高速化まで達成できることを示した点にあります。

もっとも、ピクセル空間での学習には膨大な計算資源が必要であり、学習データから外れた広大な空間の生成でどこまで破綻を防げるかは未知数です。公開予定のコードとモデルがコミュニティでどう評価されるかが試金石となります。