テスト時訓練で高精度な3D再構成を行う「tttLRM」公開、4GB未満で民生用GPUに対応

3D Gaussian Splatting（3DGS）を試したことがある人なら、生成された空間に漂う独特のモヤやノイズに悩まされた経験があるはずです。遠目には綺麗でも、近づくと細部が崩れていることが珍しくありません。

研究チームは新たな3D再構成モデル「tttLRM」をオープンソースで公開しました。テスト時訓練（TTT）を組み込むことで、4GB未満という軽量設計ながら、民生用GPUで高精細な3Dシーンを構築できます。

ノイズやモヤを排除し、電線や文字まで描画

従来の3DGSでは、視点の一貫性を保てずに煙のようなアーティファクトが発生しがちでした。

tttLRMの出力結果は非常にクリアです。公開された寺院や中庭のデモでは、壁面の装飾や布の質感までしっかりと再現されています。

特筆すべきは、これまで潰れやすかった極小ディテールの再現力です。空中に張られた細い電線や、ポスターに書かれた小さな文字までもが判読できる精度で残ります。

空間全体の再構成はもちろん、単一の物体を複数角度から撮影した写真からでも、高精度な3Dガウススプラットを出力できます。

空間情報を「高速な重み」に圧縮する仕組み

高精度と軽さを両立できた鍵は、テスト時訓練にあります。

写真の枚数が増えても計算量が爆発しないよう、tttLRMは線形計算量で動作するTTTレイヤーを採用しています。写真を入力したその場で、「fast weights」と呼ばれる内部パラメータを即座に更新し、視覚情報を効率よく圧縮します。

潜在空間内に暗黙的な3D表現を構築し、それを最終的なガウス表現にデコードする構造です。カメラ映像などのストリーミング入力から段階的に3Dモデルを洗練させていく逐次処理にも対応しています。

コードはGitHubに導入手順付きで公開されており、Hugging Faceで配布されているモデルサイズは4GB未満です。一般的なゲーミングPCのGPU環境でも十分に稼働します。

なぜ重要か

現場で3Dスキャンを活用するクリエイターや個人開発者にとって、tttLRMは待ち望まれていた実用ツールになると考えています。

これまでの3DGSは、クラウドの巨大な演算リソースに頼るか、後処理で無数の浮遊ノイズを手作業で除去する手間が必要でした。身近な民生用GPUを使い、ローカル完結でここまでノイズの少ないモデルが手に入る価値は大きいです。

技術的にも、テキスト分野で注目されてきたTTT技術が、3Dの空間圧縮において極めて有効であることを証明しました。視点数がどれだけ増えても計算負荷が線形にしか増えないアプローチは、今後の空間AIにおける標準的な選択肢になる可能性があります。

もっとも、電線や文字の輪郭が明瞭になったとはいえ、極端な遮蔽や光源環境の乱れがある場合にどこまで破綻を防げるかは、今後の現場での検証が必要です。それでも、参入障壁を一気に下げたオープンソース実装として、試す価値は十分にあります。