多校联合推出 3D-GPT:输入一句话,多智能体联动生成 3D 世界
来自澳大利亚国立大学、牛津大学和北京智源人工智能研究院的研究团队发布了 3D-GPT 系统。它将任务拆解给任务调度、概念化及建模等多个 AI 智能体,直接生成代码驱动 Blender 等软件完成 3D 建模。虽然画面尚未达到拟真级别,但有效简化了繁琐的传统建模流程。
想做一个 3D 场景,以往你得在 Blender 里面对着成百上千个按钮、节点和脚本死磕几个小时。如果现在只要输入一句「薄雾缭绕的春晨,草地上缀满带着露珠的花朵」,AI 就能替你把整个三维世界搭建出来呢?
来自澳大利亚国立大学、牛津大学和北京智源人工智能研究院的研究人员,在 arXiv 上发表了一项新研究,推出了名为 3D-GPT 的系统。它能直接把自然语言指令,转化成完整的 3D 场景。
让几个 AI 智能体组队打工
3D-GPT 最有意思的地方,在于它没有尝试硬靠一个大模型直接生成 3D 点云或网格文件,而是把任务拆解开,找了几个专门的 AI 智能体来分工协作。
第一个是任务调度智能体,负责听懂用户的要求,把整个建模流程拆成可执行的小步骤。
第二个是概念化智能体。很多人写提示词都很简短,这个智能体就像一个经验丰富的场景设计师,负责把空缺的细节补齐,并且根据你的后续修改动态调整画面描述。
第三个是建模智能体。它负责具体干活,把概念翻译成参数,直接写出控制 Blender 等成熟三维软件的代码。
在实验中,研究团队给它输入了一句诗意描摹:薄雾缭绕的春晨,露珠点缀的花朵散落在嫩芽初绽的树木环绕的草地上。3D-GPT 最终在软件里生成了包含植被、地形和光影的完整三维场景,准确对应了提示词里的元素。
研究团队也坦承,目前的画面精细度还没有达到照片级写实的效果,但整个框架已经跑通了。
为什么重要
我们认为,3D-GPT 走了一条非常聪明的务实路线。
很多做 3D 生成的模型总想端到端一步到位,直接生成不可编辑的网格或纹理,结果往往是模型内部糊成一团,专业美术师拿到手根本没法改。而 3D-GPT 的落脚点是生成代码去驱动 Blender,这意味着生成出来的每一个资产、每一组参数都是结构化的,人类设计师完全可以在这个基础上接管后续的调整。
对游戏独立开发者、影视前期概念师或者 VR 创作者来说,虽然现在还不能拿它直接做最终交付的 AAA 级资产,但用来快速搭白模、做场景原型,能省下大量机械劳动。
它对行业更大的启发在于模块化设计。文字理解、细节补充和代码生成由不同智能体承担,后续任何一个环节有更强的新模型出现,都可以随时单独替换升级,而不必推翻重来。
不过隐患也很明显,它目前的表现高度依赖底层程序化资产库和 Blender 的接口能力。如果资产库里没有对应的物料代码,AI 也很难凭空捏出精细的奇幻生物或复杂机械。但无论如何,用自然语言指挥专业工业软件的这扇门,已经被推开了一条缝。
来源 (1)
- venturebeat.com(在新标签页打开)原文venturebeat.com