Stable Diffusion 2.0 上線：新增 depth2img，靠深度圖鎖死空間結構

Stable Diffusion 2.0 正式釋出，這次更新最核心的變化是加入了 depth2img 功能。它允許你在圖生圖過程中引入一張深度圖，牢牢鎖定原圖的三維空間結構，解決以往 AI 生圖容易走形、結構崩壞的問題。

過去用 img2img 跑圖時，模型只能依賴輸入的原始畫素和文字提示詞。無論怎麼微調降噪引數或重繪幅度，生成結果往往會大幅偏離原圖的幾何輪廓，人臉、房間或物體的透視很容易被扭曲。

深度圖是怎麼工作的

為了鎖死結構，Stable Diffusion 2.0 引入了由英特爾和蘇黎世聯邦理工學院研究人員開發的 MiDaS 演算法。這套單目深度估計模型只需要一張普通的 2D 照片，就能推算出畫面物體的空間縱深，生成一張粗略的深度圖。

這就像智慧手機拍人像模式時的虛化遮罩，系統知道哪裡在前、哪裡在後，能做到主體分離甚至區域性重新打光。

有了深度引導，AI 在重繪畫面時就不會亂改骨架。它只負責在原有的三維位置上填充新的材質、光影和紋理，大幅降低了隨機變形的機率。

灰盒渲染與動畫實驗

這一特性給三維和視覺特效工作流帶來了立竿見影的改變。3D 藝術家不再需要花費數天時間雕琢細節，只要在軟體裡用簡單的立方體快速搭建出場景的「灰盒」（greybox），確定基本構圖和空間佈局，就能直接交給 depth2img 批次生成多種美術風格和概念方案。

未來隨著 Blender 等三維軟體外掛的接入，創作者還可以直接匯出精準的 Z 軸深度通道，不需要再靠演算法去猜深度。

社群創作者 CoffeeVectors 已經做了一個實驗，把一段簡單的 3D 角色走路迴圈動畫匯入 depth2img，直接轉換成了寫實風格的畫面，頭髮細節和麵部光影都有明顯的質感提升。雖然畫面幀與幀之間還存在一些抖動，但已經展現出在動畫製作上的可用性。

在資料來源上，未來深度圖還能進一步結合攝影測量、LiDAR 雷射掃描或是 NeRF 技術，把現實場景的三維資料直接作為生成的骨架。

為什麼重要

對於 3D 創作者、概念設計師和特效師來說，depth2img 是一個能馬上融入既有生產線的工具。它把生成式 AI 從不可控的「抽卡玩具」，往確定性的生產力工具推了一大步。只要你會搭簡單的三維白模，就能省下大量的概念草圖繪製時間。

我們認為，Stable Diffusion 2.0 押注深度資訊是非常聰明的一步。單純加大引數量或堆提示詞，無法解決二維影像缺乏空間常識的硬傷，而引入深度圖等於給模型裝上了三維標尺。眼下它的短板依然存在，比如生成的影片幀連續性較差、演算法推算的深度圖邊緣有時不夠精準，但對想要掌控畫面構圖的專業使用者而言，它絕對值得第一時間接入測試。