跳到正文
IFAI

AIGC

Synthesis AI 推出文本生成 3D 功能:打字就能做出电影级数字人

首次发布 传播指数 31

Synthesis AI 在其在线平台 synthesis labs 中展示了文本生成 3D 数字人技术,用户输入年龄、发型和服装等提示词,就能直接生成高分辨率的 3D 模型。系统将几何网格与纹理生成拆开处理,还支持用滑块微调表情与光照,大幅降低了游戏、特效及模型训练合成数据的制作成本。

Synthesis AI 推出文本生成 3D 功能:打字就能做出电影级数字人
图:venturebeat.com

在游戏或电影特效里做一个逼真的 3D 虚拟人,过去是件既烧钱又折腾的事。团队不仅要搭一整套昂贵的摄影测量阵列,找真人模特在多机位下各种摆姿势,还要处理肖像权协议,最后再由美术师手动对齐网格、修补材质。一套流程走下来,单个人形资产往往就要花掉数周时间和几千美元。

总部位于旧金山的合成数据技术初创公司 Synthesis AI 想把这个流程彻底砍短。他们在其在线平台 synthesis labs 中展示了一套全新的文本生成 3D(text-to-3D)技术,让创作者通过打字就能直接生成高分辨率、电影级的 3D 数字人。

把网格与纹理拆开跑

根据 Synthesis AI 的介绍,用户只需要在输入框里写下描述词,比如指定年龄、性别、种族、发型和服装,系统就能生成完全匹配的 3D 模型。生成之后,用户既可以通过修改提示词微调,也可以直接拖动界面上的滑块,快速调整人物的面部表情和环境光照。

技术实现上,Synthesis AI 没有把所有生成任务揉在一起。3D 模型的制作极其复杂,必须兼顾几何网格与纹理层。他们自研了基于扩散模型的架构来生成三维网格,由性别、年龄和种族等核心参数精确控制;与此同时,人物的表面纹理层则交由另一个独立的生成模型来处理。最后,系统把几何网格与高清纹理合成在一起,输出完整的模型。

公司创始人兼首席执行官 Yashar Behzadi 表示,按需自动生成数字人资产,能让每个模型的制作成本和时间缩减几个数量级,直接节省数千美元和数周工期。在此之前,该公司已经推出了针对人体合成数据的 synthesis humans 和针对复杂场景的 synthesis scenarios。

Behzadi 认为,任何会用搜索引擎的人都能通过输入提示词上手这项工具。不过他们预计,最早期的核心用户会是影视娱乐行业的技术美术师,以及工业与制造领域的产品经理——他们需要为各种 3D 仿真环境快速补充具有代表性的数字人,懂制作流程但通常缺乏深厚的机器学习开发技能。

为什么重要

这项技术最大的价值,在于把原本属于好莱坞工业级别的 3D 角色资产制作,降维成了打字和拉滑块的门槛。对于中小型游戏团队、独立创作者以及需要大量行人模型进行自动驾驶或工业仿真的团队来说,这几乎省掉了最繁琐的资产采购和扫描成本。

把几何网格与纹理生成拆解成独立通道,我们认为这是 Synthesis AI 非常聪明的一步。很多端到端一次成型的 3D 生成工具往往在细节边缘或贴图分辨率上糊成一片,而拆分处理能让生成的角色不仅远看逼真,放大之后依然具备影视特效可用的细节精度,同时也更方便后续的手工微调。

从行业竞争来看,生成式 AI 的战场正在从 2D 图像和文字,全面蔓延到 3D 空间。Synthesis AI 的特殊之处在于它本身是一家做「合成数据」起家的公司。它的目的不仅是给游戏行业做美术资产,更是用完全没有个人隐私风险、自带完美标注的虚拟人,去喂饱下一代计算机视觉和机器学习模型。如果这套生成管线能够稳定输出,它甚至可能反向重塑自动驾驶、虚拟试衣与具身智能的数据训练生态。

来源 (2)

  1. [1]
    venturebeat.com(在新标签页打开)原文venturebeat.com
  2. [2]

每日 AI 内容精选