Nvidia 預告 D-Rex：全身數字人不僅表情逼真，還能任意換光照

把一個真人塞進綠幕攝影棚，最讓人頭疼的往往不是摳像，而是打光。背景換成夕陽黃昏，演員臉上卻還頂著慘白的日光燈，那種假塑膠感一眼就能看穿。

數字人也是同一個道理。4 月 30 日，Nvidia 公佈了一套全新的全身數字人框架 D-Rex，全稱是 Diffusion Rendering for Relightable Expressive Avatars。它想解決的正是這個老難題：既要讓數字人做出極其細膩的面部表情，又要讓它能在任意環境光下隨意穿梭。

讓表演歸表演，打光歸打光

過去做可重新打光的全身數字人，走的基本都是硬核物理路線。演算法得把人物層層拆解，算清楚幾何網格、皮膚反射率、材質粗糙度、陰影遮擋以及光線彈射。

這種把光照計算和三維建模綁死在一起的做法，極其消耗算力，更要命的是會嚴重犧牲表情。只要你想讓臉部動起來、做點細緻的喜怒哀樂，光照和幾何註冊就很容易打架，整張臉瞬間垮掉。

Nvidia 的思路很巧妙：乾脆別在 3D 空間裡死磕物理渲染了。D-Rex 把整個流程徹底拆成兩段，將重打光降維成一個影像空間的後處理步驟。

第一階段，系統只在均勻的普通白光下，訓練一個極具表現力的基礎數字人。這個底模什麼雜亂光影都不用管，唯一的任務就是把骨骼動作、身體姿態和微妙的面部神情做到極致，輸出一個類似無陰影反照率的乾淨渲染畫面。

擴散模型充當虛擬燈光師

等數字人把動作演完了，第二階段才輪到光照登場。Nvidia 沒有去調複雜的渲染器引數，而是請出了影片擴散模型。

團隊利用在光照舞臺（Light Stage）裡採集的成對平光與打光資料，通過 LoRA 微調了一個預訓練影片擴散重打光模型。它接收前面生成的平光影片，直接把它“翻譯”成匹配目標 HDR 環境光照的逼真成片。

因為生成模型自帶對光影質感的理解，皮膚的次表面散射、高光移動以及衣服褶皺的陰影，全都被自然補齊了。

更妙的是，這種解耦設計幾乎是即插即用的。前面負責表演的白光數字人不需要做任何特殊改動，D-Rex 可以直接套在其他現成的白光數字人系統上，同時支援自由相機視角和時序連貫性。

為什麼重要

在數字人領域，3D 物理流和 2D 生成流一直各自為戰。物理流姿態穩、可控性高，但質感生硬且表情呆板；生成流畫面真實、光影驚豔，但往往像個不受控的盲盒。

D-Rex 的聰明之處在於，它用三維模型管住骨架、視角與表情，把最考驗真實感的光影渲染全盤交給了擴散先驗。這種“3D 管結構，2D 管質感”的混合架構，很可能會成為虛擬製片、遊戲和遠端互動領域的下一代標配工作流。

對開發者和內容創作者來說，這意味著未來不需要搭建極其沉重的即時物理光追渲染管線，就能把帶豐富表情的數字人無縫嵌進任何複雜光照場景。

不過目前 Nvidia 只是公佈了論文成果，並未開放開箱即用的商用工具或預訓練權重。而且依賴影片擴散模型進行後處理，在遇到極快動作或邊緣遮擋時，是否會像傳統生成影片那樣偶發噪點或輕微閃爍，仍有待工程化落地的進一步驗證。