蘋果公佈 FaceLit：僅憑 2D 照片生成可自由打光的 3D 人臉

想要做出一個能在不同光線和角度下隨意轉動的逼真 3D 人臉，過去往往需要把人請進專業的打光攝影棚，拿一圈相機陣列做多視角掃描，或者耗費大量人力去手動對齊結構。

蘋果的研究團隊想把這個門檻徹底拆掉。

Apple 研究團隊公佈了名為 FaceLit 的全新生成框架。這項研究最吸引人的地方在於，它不需要任何昂貴的採集棚，也不需要人工標註，光靠網上抓來的普通 2D 照片，就能學著生成出可以自由調整光照和視角的 3D 人臉。

把物理反射模型塞進神經渲染

傳統的 3D 人臉生成方案如果想做到「可重打光」，通常非常依賴精準的受控光源和深度資料。一旦脫離實驗室環境，生成的面孔往往要麼光影糊成一片，要麼換個角度就穿幫。

FaceLit 選擇了一條更輕巧的路徑。研究團隊沒有專門去搭硬體，而是直接藉助現成的姿態與光照估計器，先從雜亂的 2D 影像中提取大概的空間與光影線索。

接著，他們把經典的 Phong 反射模型引入到神經體渲染框架中。模型在訓練時不只學習人臉的幾何幾何形狀，還會拆解出面部的材質屬性。

這樣一來，演算法就能按照現實世界的光照和姿態規律，生成兼具多視角 3D 一致性和光影一致性的人臉畫面。即便使用者在渲染時隨意改變光源角度或變換觀察視點，臉上的高光和陰影過渡依然保持自然。

在實驗中，FaceLit 在 FFHQ、MetFaces 和 CelebA-HQ 多個常用公開資料集上都完成了顯式光照與視角的控制測試。在 FFHQ 資料集上，FaceLit 甚至拿下了 3.5 的 FID 分數，在當時的 3D 感知 GAN 領域跑出了最先進的畫質表現。

為什麼重要

這項研究的核心價值在於大幅降低了 3D 數字資產的製作門檻。

如果未來這項技術走向成熟，影視特效、虛擬人制作或遊戲開發團隊可能不再需要昂貴的面部捕捉裝置。只需要收集特定人物的普通生活照，就能快速重建出支援自由打光和多機位拍攝的 3D 模型，創作成本會直接被拉平。

對行業來說，FaceLit 展現了「用現成工具做無監督拆解」的聰明解法。它沒有硬去卷採集裝置的精度，而是把經典圖形學的反射模型和深度學習的體渲染綁在一起，讓普通的單目 2D 影像也能產出高質量的物理材質引數。

不過，這類從非受控 2D 影像中逆向推演的技術往往也有侷限。演算法的表現高度依賴前端姿態與光照估計器的準確度，遇到極端遮擋或複雜陰影時依然可能翻車。而且研究目前仍停留在實驗室技術方案層面，距離真正在端側即時互動應用落地，看起來還需要解決渲染開銷與細節泛化的難題。