テンセントが「WorldClaw」発表：テキスト1文から探索・編集可能な3D世界を生成

3Dシーンやゲームのステージを作ったことがある人なら、現在のAI生成における最大の壁をよくご存じのはずです。出力されるモデルは全体が一体化した編集不能なメッシュ塊になりがちで、木を一本動かしたり建物を差し替えたりすることすらできません。

TencentのHunyuan3D研究チームは、1文の自由記述プロンプトから探索可能で編集可能な大規模3D世界を構築するエージェント型システム「WorldClaw」を発表しました。

プランニングから始まる段階的な世界生成

WorldClawは、一括生成のブラックボックスではなく、粗い段階から精緻化していくエージェント協調パイプラインを採用しています。

第1段階は意図分析と計画です。意図分析エージェントがプロンプトから明示された制約だけを抽出し、シーン計画エージェントがあいまいな指示を補完して、領域分割、地形制約、配置オブジェクトの仕様を策定します。

第2段階では大域的な地形を生成します。セマンティックレイアウト図に基づき、手続き型マテリアルと生成テクスチャ、領域認識ハイトフィールドを組み合わせて地形を起伏させます。さらにレンダリング巡回エージェントがトランジションやスケール破綻を検知して自動修正します。

オブジェクトを独立インスタンスとして保持

土台が完成すると、第3段階として局所的なオブジェクト生成と配置が行われます。

地表に散布される小石や下草などのアセットは3Dコーディングで構築され、建造物や主要アイテムは3D生成モデルによって個別に制作されます。ここでもレンダリングエージェントが介入し、地面との接地判定や向きを微調整して、オブジェクトの浮遊や不自然な埋まりを防ぎます。

公開されたデモでは、雪線地帯の村、峡谷の居住地、熱帯の島、北極圏の前哨基地など11種類の世界が示されました。俯瞰視点でも歩行視点でも探索でき、木や家屋はすべて独立した編集可能なメッシュとして扱えます。

なぜ重要か

WorldClawの優れた点は、ゲーム開発のワークフローに真っ向から適合する形で設計されている点だと考えられます。

近年の3D生成ではNeRFやガウシアンスプラッティングが注目されていますが、ゲームエンジンに持ち込んでレベルデザインを微調整する用途には向きません。WorldClawのように地形とアセットを個別のインスタンスとして保持し、後からDCCツールで手入れできる構造は、現場の開発者にとって実用性が段違いです。

懸念されるのは生成コストと時間です。複数のエージェントが推論し、アセットを生成し、レンダリングして検査するループを回すため、リアルタイムの即時生成とはいかず、計算資源の消費も相当なものになると見られます。

それでも、単なる「見て楽しむ3D」から「現場で修正して使える3D環境」へ舵を切った試みとして、今後の仮想空間制作に大きな指針を示すアプローチと言えます。