3D再構築モデル「TriSplat」登場：ガウス変換不要で物理エンジン直結のメッシュを即座に出力

画像をAIで3D化する技術は急速に進化していますが、ゲーム開発やロボット工学の現場では長らく不満がくすぶっていました。3Dガウススプラッティング（3DGS）は美しい画像をレンダリングできるものの、実体は無数の半透明な楕円体です。物理エンジンはこれをメッシュとして認識できず、衝突判定やシミュレーションに使うには重たい変換処理が必要でした。

研究チームはこうした変換の手間を根本から解消する新しい3D再構築ネットワーク「TriSplat」を発表しました。あらかじめガウス表現を挟むのではなく、最初から「方向性を持つ三角形プリミティブ」で空間を表現し、単一の推論パスでゲームやシミュレータに直接投入できるメッシュを書き出します。

変換処理を捨て、1.2秒でメッシュを直出

従来のメッシュ直接予測は、カメラ姿勢が未定のまばらな画像群から行うと面が破綻しやすく、学習が不安定になるのが常でした。

TriSplatはこの課題を、幾何学的な法線推定を組み合わせることで解決しています。DINOv2を活用した特徴抽出とともに、入力画像からローカルな3Dポイントマップとカメラ姿勢を推定。ポイントマップから幾何法線を組み立て、画像条件付き法線ヘッドで補正した上で、安定した局所フレームを構築して三角形を配置します。

さらに、トレーニング初期を安定させる単眼法線ブートストラップや、不透明度とブラーのスケジューリングを採用。表面表現を段階的にシャープ化していくことで、無駄のないメッシュ抽出を可能にしました。

RealEstate10KやDL3DVなどのデータセットによる検証では、ガウスベースのベースラインを上回る幾何学的精度を記録し、わずか1.2秒ほどでUnreal Engine直結の3Dアセットを出力できる性能を示しています。

なぜ重要か

TriSplatの最大の功績は、「ガウスからどうメッシュを抽出するか」という後処理の泥沼から抜け出し、出力フォーマットそのものを三角形へ回帰させた点にあると考えられます。

ゲーム制作者やロボット研究者にとって、いくら見た目が綺麗でも物理演算が通らないモデルは実用になりません。TriSplatが生成するメッシュはそのままUnreal Engineなどの標準レンダリングや衝突判定パイプラインに流し込めるため、生成から実装までのタイムラグがほぼゼロになります。

特に、無数の仮想環境を短時間で構築してAIを学習させたい身体性AI（Embodied AI）分野では、この1.2秒という生成スピードと物理互換性の両立は大きな強みになるはずです。

遮蔽が極端に多い複雑な形状の再現性にはまだ改善の余地があるものの、見た目の綺麗さと実用的なメッシュ構造が両立できることを示した意義は小さくありません。