Nvidia 推出 3D 引导生图工作流:用 Blender 摆构图,让 FLUX.1 出图
Nvidia 发布 3D 引导生图工作流工具,将 Blender 3D 建模与 FLUX.1 图像生成器打通。创作者只需在 Blender 中摆放粗模并调整机位,AI 便会以此为构图参考生成 2D 画面,省去反复抽卡的麻烦。不过本地运行需要 RTX 4080 及以上显卡。

玩过 AI 生图的人,大概都经历过这种崩溃:你想让画面里的车停在街角左侧、镜头稍微仰拍,结果在提示词里翻来覆去改了二十遍,模型不是把车放到了天上,就是直接换了个俯视大平视。
Nvidia 正式上线了一套名为「3D 引导式生成式 AI」(3D-guided generative AI)的 AI Blueprint 工作流。它的解法很直接:别在提示词里跟模型死磕构图了,先在 3D 软件里把场景摆好,再让 AI 照着画。
这套工作流最早在今年早些时候的 CES 上露过面,现在正式开放下载。不过它的门槛相当硬核,你的电脑必须配有 RTX 4080 或更高规格的 GPU 才能跑得动。
先用火柴盒搭出透视和机位
以往要想精准控制生图的姿态或构图,通常得去折腾复杂的 ControlNet 插件,配置门槛能劝退一大批人。Nvidia 这一次则是把开源 3D 工具 Blender 和 Black Forest Labs 的 FLUX.1-dev 串在了一起。
创作者可以直接在 Blender 里用非常粗糙的几何体,随手搭一个场景。比如放几个长方体代表高楼,放几个小色块代表汽车或树木,然后随意拖拽虚拟摄像机,找准你想要的俯仰角度与焦段。
这些 3D 物体完全不需要精细贴图,因为系统只是提取场景生成的深度图。随后,深度图会被转换成灰度信息传给 FLUX.1-dev,结合提示词直接生成最终画质细腻的 2D 画面。
在底层架构上,Nvidia 把整个管道打包成了一个整体方案。它把 Blender、ComfyUI 及其互联插件、FLUX.1-dev 的 NIM 微服务全都装在了一起,还配了一键安装包和开发文档。
为了让大模型在本地跑得更快,Nvidia 掏出了 TensorRT 加速。在 Blackwell 架构 GPU 上,模型被量化到了 FP4 精度,推理速度比原生 PyTorch FP16 快了一倍多,显存占用砍掉一半以上;如果是在 Ada Lovelace 架构上,则通过 FP8 精度来跑。
类似的想法其实 Adobe 在去年 10 月的 MAX 大会上也展示过,代号叫 Project Concept。但 Adobe 那个工具到现在还停留在实验阶段,能否公开面世都还是未知数。
为什么重要
我们认为,Nvidia 这次打中了专业创作者最大的痛点:确定性。单纯靠自然语言描述空间关系,对扩散模型来说就像开盲盒;而 3D 空间里的坐标、镜头参数和遮挡关系是绝对确定的,拿 3D 骨架去约束 2D 像素,等于把导演手里的取景器还给了创作者。
对于影视概念设计师、游戏美术或者动画分镜师来说,这套工具非常值得试一试。哪怕你只会 Blender 的基础位移和缩放,花两分钟摆几个方块,也比你在聊天框里抽卡两小时更高效,尤其是在需要连续调整机位、保证空间一致性的时候。
但它的短板也写在脸上。首先是苛刻的硬件壁垒,RTX 4080 起步的门槛,直接把大批用轻薄本或者主流中端显卡的用户挡在了门外。这看起来不仅是在推开源工具,更是在给自家的旗舰显卡带货。
对行业而言,这一步给端侧工作流树立了一个标杆。过去大模型比拼的是提示词理解能力,但在专业生产力领域,未来的竞争焦点正在转向多工具协同与可控生成。如果竞品不能提供这种精细的操作手感,光靠提升提示词敏感度,很难打进专业工业管线。
来源 (2)
- theverge.com(在新标签页打开)原文theverge.com
- blogs.nvidia.com(在新标签页打开)报道blogs.nvidia.com