SegviGen：3Dモデルのパーツを自動分割、クリックや2D画像での指示に対応

SegviGenは、一体化された3Dモデルを高精度に個別パーツへと自動分割できるオープンソースのフレームワークだ。3Dプリント用のパーツ分割やゲームアセットの編集、構造解析など、3Dメッシュを編集可能な部品単位へ切り分ける作業を大幅に効率化できる。

本プロジェクトはマイクロソフトの3D生成基盤モデルTRELLIS.2をベースに構築されている。ゼロから巨大な分割モデルを訓練するのではなく、生成モデルの内部にあらかじめ蓄積されている豊かな構造とテクスチャの事前知識を活用し、幾何形状を再構築しながらパーツ特有の色表現を予測する仕組みを採用した。

何ができるのか

SegviGenは単一のアーキテクチャで3つの実用的な分割モードをサポートしている。

1つ目は対話型パーツ分割だ。3Dモデル上の特定部位を1クリックするだけで、その部品を綺麗に識別して切り出す。PartObjaverse-TinyおよびPartNeXTデータセットにおけるシングルクリックのIoU@1評価では、従来のSOTAであるP3-SAMを40%上回った。

2つ目は完全自動の全体分割だ。追加の指示を与えなくても、モデルが自動的に全体を個別パーツへ色分けして分離し、平均IoUを従来比で15%向上させている。

3つ目は2Dガイド画像による分割だ。2Dのパーツ分割参考図を入力すると、その画像の粒度に合わせて3Dモデルを正確にパーツ分けしてくれる。

驚くべきはそのデータ効率だ。生成モデルが持つ先見的な構造知識を流用しているため、タスク特化の教師データを大幅に削減でき、わずか0.32%の訓練データ量でこれら最高水準の精度を達成した。

動かし方

SegviGenはGitHub上でMITライセンスのもとコードが公開されており、学習済みチェックポイントもHugging Faceで配布されている。論文はSIGGRAPH 2026 Journalに採択されており、ブラウザで試せるオンラインデモも用意されている。

ローカルで動作させるには、Linux環境、Python 3.10、そして最低24GBのVRAMを搭載したNvidia GPUが必須となる。TRELLIS.2の環境をセットアップした上で、Blender関連ライブラリなどの依存関係をインストールして利用する。

推論用のコマンドラインスクリプトも整備されており、対話型、全体分割、2D画像誘導の各タスクに応じてGLBファイルと引数を指定するだけで、分割済みの3Dモデルファイルを出力できる。

なぜ重要か

3Dモデルのパーツ切り分けは、これまで手作業による気の遠くなるようなポリゴン編集か、精度が甘い専用AIに頼るしかなかった。SegviGenは、3D生成モデルが本来備えている構造認識力を再利用することで、学習コストを極限まで抑えつつ最高峰の分割精度を引き出せることを実証した。

フィギュアの分割出力を行う3Dプリンタ愛好家や、3Dアセットを素早く分解して再利用したいゲーム制作者なら、すぐに試す価値がある。24GB VRAMというハードウェアの壁はあるものの、RTX 3090や4090、あるいはクラウドGPU環境さえあれば、何時間もかかっていた手作業を一瞬で終わらせられる実用的なツールだ。