Microsoft、画像から3Dを生成する「TRELLIS.2-4B」公開　最速3秒でPBR対応モデルを出力

TRELLIS.2-4Bは、Microsoftの研究チームがオープンソースとして公開した40億パラメータの3D生成基底モデルです。単一の画像から、完全なPBR材質や半透明表現を備えた高精度3Dアセットを直接生成できます。ライセンスは寛容なMITライセンスを採用しています。

機能と仕組み

従来の画像から3Dを復元する手法はSDFやFlexicubesなどの等値面場に依存することが多く、薄い開曲面や非多様体形状で破綻したり、半透明マテリアルを扱えない課題がありました。

TRELLIS.2はこの問題を解決するため、O-Voxelと呼ばれる無場スパースボクセル構造を導入しました。形状と質感を同時に保持できるため、任意のトポロジーを崩さずにメッシュとボクセルをミリ秒から数秒で相互変換できます。

モデル本体には40億パラメータのFlow-Matching Transformerを採用し、16倍の空間ダウンサンプリングを行うスパース3D VAEを組み合わせています。1024³解像度のアセットをわずか約9600個の潜在トークンに圧縮し、知覚的な劣化を最小限に抑えています。

推論速度も極めて高速で、NVIDIA H100環境では512³解像度を約3秒、1024³解像度を約17秒、最高品質の1536³解像度でも約60秒で出力します。さらに、既存の3D形状に対して指定画像からテクスチャを生成する機能も備えています。

動作環境と注意点

ローカルで動かすためのハードウェア要求は高めです。現時点でLinux環境のみでテストされており、24GB以上のメモリを備えたNVIDIA GPUが必須となります。公式にはA100やH100での動作が確認されており、CUDA 12.4とPython 3.8以上が推奨されます。

また、本モデルは人間の好みに合わせた強化学習などの調整を行っていない事前学習ベースモデルです。出力結果は訓練データの分布に依存するため、望む作風を得るには入力画像の調整が必要になります。生成された生メッシュに微小な穴が生じる場合もありますが、3Dプリント用途向けに公式から穴埋め用スクリプトが提供されています。

重みとコードはHugging FaceやGitHubで公開されており、前月だけで240万回以上ダウンロードされています。Google ColabやKaggleのノートブックも用意されているため、クラウド上で手軽に試すことも可能です。

なぜ重要か

インディーゲーム開発者や3Dアーティストにとって、TRELLIS.2-4Bは制作工程を大幅に短縮する実用的なツールになり得ます。これまでの生成モデルはトポロジーの崩れやテクスチャの平坦さが目立ちましたが、本モデルは法線や粗さ、不透明度を含むPBRメッシュをそのまま吐き出せる点が強みです。

24GB以上のVRAMが必要なため一般的なコンシューマーPCでの運用は難しいものの、クラウドGPUを使えばわずか数秒で本格的な3Dモデルが手に入ります。オープンウェイトの3D生成分野において、実制作に直結する大きな一歩だと評価できます。