テキストから3D世界を自動生成する「3D-GPT」が発表される

Blenderなどの専門ソフトウェアで3Dシーンを一から構築するには、膨大なノード設定やモデリング作業が必要です。オーストラリア国立大学、オックスフォード大学、北京人工知能研究院（BAAI）の研究チームは、テキスト指示から3Dモデルや世界を自動生成する新システム「3D-GPT」を発表し、論文をarXivで公開しました。

専門エージェントが分担してBlenderを操る

3D-GPTの大きな特徴は、大規模言語モデル（LLM）を単なるテキスト処理にとどめず、手続き型モデリングのタスクを分解して複数のAIエージェントに割り振る点にあります。

まず「タスク割り当てエージェント」がユーザーの指示を解析し、制作手順を整理します。

次に「概念化エージェント」が、簡潔すぎる指示の不足したディテールを補完し、全体の情景描写を具体化します。

そして「モデリングエージェント」がパラメータを割り出し、Blenderなどの既存3Dソフトウェアを制御するコードを自動生成して実行します。

「霧のかかる春の朝、芽吹いた木々に囲まれた青々とした草原に、朝露に濡れた花が点在している」というプロンプトのテストでは、テキストに忠実な完全な3Dシーンが構築されました。現時点のレンダリング品質はフォトリアルとまでは言えないものの、指示通りの空間配置を実現しています。

なぜ重要か

私たちは、3Dメッシュをゼロから直接生成するのではなく、Blenderを操作するコードを出力させた判断が極めて実用的だと考えます。

従来の画像系3D生成はポリゴンが乱れやすく、プロのクリエイターが後から編集するのは困難でした。一方、3D-GPTが生成するのはソフトウェアのパラメータやスクリプトであるため、人間が後からオブジェクトを動かしたりマテリアルを微調整したりできます。

インディーゲーム開発者や映像のコンセプトアーティストにとって、初期のシーン設計やプロトタイプ作成の手間を大幅に削るツールになり得ます。

エージェントごとに独立しているため、言語モデルの進化に合わせて柔軟に改善できる点も強みです。現状は手続き型ライブラリの表現力に依存するという制約がありますが、自然言語でプロ向け3Dツールを自在に動かす未来への確かな足がかりと言えます。