跳到正文
IFAI

AI工具

Nvidia 推出 3D 引導生圖工作流:用 Blender 擺構圖,讓 FLUX.1 出圖

首次發布 傳播指數 52

Nvidia 釋出 3D 引導生圖工作流工具,將 Blender 3D 建模與 FLUX.1 影像生成器打通。創作者只需在 Blender 中擺放粗模並調整機位,AI 便會以此為構圖參考生成 2D 畫面,省去反覆抽卡的麻煩。不過本地執行需要 RTX 4080 及以上顯示卡。

Nvidia 推出 3D 引導生圖工作流:用 Blender 擺構圖,讓 FLUX.1 出圖
圖:theverge.com

玩過 AI 生圖的人,大概都經歷過這種崩潰:你想讓畫面裡的車停在街角左側、鏡頭稍微仰拍,結果在提示詞裡翻來覆去改了二十遍,模型不是把車放到了天上,就是直接換了個俯視大平視。

Nvidia 正式上線了一套名為「3D 引導式生成式 AI」(3D-guided generative AI)的 AI Blueprint 工作流。它的解法很直接:別在提示詞裡跟模型死磕構圖了,先在 3D 軟體裡把場景擺好,再讓 AI 照著畫。

這套工作流最早在今年早些時候的 CES 上露過面,現在正式開放下載。不過它的門檻相當硬核,你的電腦必須配有 RTX 4080 或更高規格的 GPU 才能跑得動。

先用火柴盒搭出透視和機位

以往要想精準控制生圖的姿態或構圖,通常得去折騰複雜的 ControlNet 外掛,配置門檻能勸退一大批人。Nvidia 這一次則是把開源 3D 工具 Blender 和 Black Forest Labs 的 FLUX.1-dev 串在了一起。

創作者可以直接在 Blender 裡用非常粗糙的幾何體,隨手搭一個場景。比如放幾個長方體代表高樓,放幾個小色塊代表汽車或樹木,然後隨意拖拽虛擬攝像機,找準你想要的俯仰角度與焦段。

這些 3D 物體完全不需要精細貼圖,因為系統只是提取場景生成的深度圖。隨後,深度圖會被轉換成灰度資訊傳給 FLUX.1-dev,結合提示詞直接生成最終畫質細膩的 2D 畫面。

在底層架構上,Nvidia 把整個管道打包成了一個整體方案。它把 Blender、ComfyUI 及其互聯外掛、FLUX.1-dev 的 NIM 微服務全都裝在了一起,還配了一鍵安裝包和開發文件。

為了讓大模型在本地跑得更快,Nvidia 掏出了 TensorRT 加速。在 Blackwell 架構 GPU 上,模型被量化到了 FP4 精度,推理速度比原生 PyTorch FP16 快了一倍多,視訊記憶體佔用砍掉一半以上;如果是在 Ada Lovelace 架構上,則通過 FP8 精度來跑。

類似的想法其實 Adobe 在去年 10 月的 MAX 大會上也展示過,代號叫 Project Concept。但 Adobe 那個工具到現在還停留在實驗階段,能否公開面世都還是未知數。

為什麼重要

我們認為,Nvidia 這次打中了專業創作者最大的痛點:確定性。單純靠自然語言描述空間關係,對擴散模型來說就像開盲盒;而 3D 空間裡的座標、鏡頭引數和遮擋關係是絕對確定的,拿 3D 骨架去約束 2D 畫素,等於把導演手裡的取景器還給了創作者。

對於影視概念設計師、遊戲美術或者動畫分鏡師來說,這套工具非常值得試一試。哪怕你只會 Blender 的基礎位移和縮放,花兩分鐘擺幾個方塊,也比你在聊天框裡抽卡兩小時更高效,尤其是在需要連續調整機位、保證空間一致性的時候。

但它的短板也寫在臉上。首先是苛刻的硬體壁壘,RTX 4080 起步的門檻,直接把大批用輕薄本或者主流中端顯示卡的使用者擋在了門外。這看起來不僅是在推開源工具,更是在給自家的旗艦顯示卡帶貨。

對行業而言,這一步給端側工作流樹立了一個標杆。過去大模型比拼的是提示詞理解能力,但在專業生產力領域,未來的競爭焦點正在轉向多工具協同與可控生成。如果競品不能提供這種精細的操作手感,光靠提升提示詞敏感度,很難打進專業工業管線。

來源 (2)

  1. [1]
    theverge.com(在新分頁開啟)原文theverge.com
  2. [2]
    blogs.nvidia.com(在新分頁開啟)報導blogs.nvidia.com

每日 AI 內容精選