UniMeshが登場：3Dモデルの生成と編集、理解を1つのモデルに統合

AIを使って3Dアセットを作ろうとしたことがある人なら、その扱いにくさに直面したことがあるはずです。

現在のツールはゼロから大まかな形状を生成するか、既存の3Dモデルを解析するかのどちらかに特化しています。完成したモデルのパーツを少し変えたり色を変えたりしたい場合、思い通りに手を入れるのは極めて困難でした。

研究者チームはこの課題を解決する統合フレームワーク「UniMesh」を発表しました。これまで切り離されて開発されていた3D生成と3D理解を、単一のアーキテクチャへと統合したモデルです。

プロンプトによる連続的なメッシュ編集

UniMeshの最も分かりやすい強みは、生成と編集を同じ土台でこなせる点にあります。

テキストの指示や1枚の画像を入力するだけで、破綻のない完全な3Dメッシュを生成できます。

さらに強力なのが、その後の自然言語による編集機能です。公開された事例では、宇宙飛行士の手に月を持たせたり、気球の風船部分をブドウの房に変えたり、ブルドーザーに車輪を追加したり、バイクの色を変更したりといった指示を直感的に反映できます。

これを支えているのが「Chain of Mesh（CoM）」と呼ばれる仕組みです。大規模言語モデルの思考の連鎖（CoT）を幾何構造に応用したもので、潜在変数、プロンプト、再生成をループさせることで、元の形状を壊さずに意図した部分だけを修正します。

生成と理解を相互につなぐ構造

これまで細かな編集が難しかったのは、画像を生成する拡散モデルと、3D形状を認識・復元するデコーダーが別々に作られていたためです。

UniMeshは「Mesh Head」と呼ばれるインターフェースを導入し、拡散ベースの生成と形状デコーダーを直接架橋しました。

3D空間を正確に理解できるため、逆方向のタスクも得意です。既存の3D物体を読み込ませて詳細な説明文を生成する「3Dキャプショニング」に対応しています。認識のズレを防ぐため、アクター・評価者・自己内省からなるトリオ構造を備え、エラーを自己修正しながら出力を整えます。

なぜ重要か

3Dクリエイターやゲーム開発者にとって、生成AIが実務に入り込めなかった最大の要因は「狙い通りの修正が効かないこと」でした。一度生成したきり変更できないガチャのようなツールでは、パイプラインに組み込めません。UniMeshが見せた自然言語による段階的編集は、実用化に向けた重要な前進です。

技術的にも、理解と生成を1つのモデルにまとめた判断は極めて合理的だと考えられます。2Dの世界でマルチモーダルモデルが進化したのと同様に、3Dでも「形を理解しているからこそ、破綻のない生成ができる」という相乗効果が期待できます。

現時点では学術研究の段階であり、商用ゲームに必要な高ポリゴンメッシュやリギングへの対応力は今後の検証が必要です。それでも、3D AIが単なる「生成器」から「対話しながら一緒に形を直せるアシスタント」へ進化する道筋をはっきりと示しています。