OpenAIが3D生成モデル「Shap-E」をオープンソース公開、数秒でNeRFやメッシュを生成

Shap-Eは、テキストプロンプトを渡すだけで、テクスチャ付き3Dメッシュや多視点レンダリングが可能なNeRFをわずか数秒で生成できるOpenAIのオープンソース3D生成モデルです。

単一の表現形式に依存する従来の3D生成モデルと異なり、Shap-Eは陰関数（implicit functions）のパラメータを直接出力します。そのため、一度の生成でテクスチャ付きポリゴンメッシュとNeRFの両方をレンダリングできます。

何ができるのか

OpenAIが以前公開したPoint-Eと比較すると、使い勝手は大幅に向上しています。

Point-Eは点群（ポイントクラウド）を出力していたため、実際に3Dアセットとして使うには面倒な変換処理が必要でした。Shap-Eは最初から面とテクスチャを持った状態で出力されます。

ペア化された大量のテキストと3Dデータで学習されており、複雑で多様な3Dアセットを数秒のうちに生成できます。

どのような仕組みか

論文によると、Shap-Eの学習は2つのステップに分かれています。

まず第1段階として、既存の3Dアセットを決定論的に陰関数のパラメータへとマッピングするエンコーダを学習させます。

第2段階で、そのエンコーダの出力結果に対して条件付き拡散モデルを学習させています。

多次元で高表現力な出力空間を扱っているにもかかわらず、Point-Eよりも学習の収束が速く、同等以上のサンプル品質を達成している点が技術的な見どころです。

現状の制約と試し方

ただし、完成された商業用アセットがすぐに手に入るわけではありません。

生成される3Dモデルは全体的に解像度が低く、表面が粗かったりピクセル状のアーティファクトが目立ったりします。

また、単一のオブジェクトをシンプルな属性で指示するプロンプトには対応できますが、複数のオブジェクトや複雑に絡み合った属性を指定すると、正しく反映できなくなる限界があります。

コード、モデルの重み、推論用サンプルはすべてGitHubで公開されているため、環境を整えればローカルマシンですぐに試すことができます。

なぜ重要か

インディーゲーム開発者や3Dアーティストにとって、Shap-Eはアイデア出しや初期のラフモデリングを爆速で終わらせるための実験ツールとして役立ちます。クオリティ面でゲームにそのまま組み込むことは難しいものの、数秒で形状と色を確認できる価値は大きいです。

また、拡散モデルを点群ではなく陰関数のパラメータに直接適用するというアプローチは非常に合理的です。軽量かつ高速な3D生成の道筋をオープンソースで提示したことで、今後のコミュニティ開発を大きく後押しする一歩と言えます。