Adobe 釋出 TokenLight:單張照片能用 3D 光源隨意重新打光
Adobe 公佈影像重打光研究 TokenLight。它把強度、顏色和 3D 光源位置轉化為標記輸入模型,使用者能像拖滑塊一樣在照片裡隨意加燈並連續調整漫反射。最值得關注的是,模型沒靠顯式 3D 渲染監督就學會了光線與幾何體的互動。不過目前僅釋出了論文,暫未開放體驗。

商業攝影裡最折磨人的環節之一就是打光。現場布光要是沒佈置到位,後期在 Photoshop 裡一層層補陰影、調高光,不僅費時費力,還很容易顯得塑膠感十足。
Adobe 公佈了一項名為 TokenLight 的影像重打光研究。這項技術的核心能力很簡單:給你一張普通的 2D 照片,你能像在 3D 渲染軟體裡一樣,隨意往場景里加燈、挪位置,光影會即時跟著變化。
像調滑塊一樣擺弄 3D 光源
傳統的 2D 調光大多是全域性濾鏡或者粗糙的區域性塗抹,很難準確模擬真實物理空間裡的光線投射。
TokenLight 走的是生成式路線。研究團隊把強度、顏色、環境照明、漫反射程度以及 3D 光源座標全部轉化為屬性標記,輸入到 Transformer 架構的生成模型中。
在演示中,使用者可以通過方向鍵在畫面的任意角落放置光源。你可以把燈拉遠,或者讓它貼近物體表面,畫面中的陰影、高光和整體照明都會立刻重新計算並逼真更新。
漫反射程度也可以無級微調。滑塊拉到較低數值時,光線和陰影邊緣會變得格外銳利;調高漫反射數值後,投射出來的則是柔和散落的環境光。
沒學過物理引擎,卻摸透了光影規律
這套系統最讓人意外的地方,在於它的空間感知能力。
以往要實現這種級別的重光照,往往需要顯式的逆向渲染監督,比如先估算深度圖、法線圖和物體表面反射率。但 TokenLight 並沒有走這種傳統路線。
研究團隊主要使用帶標註的大規模合成數據進行訓練,再補充少量真實照片來提升質感和泛化表現。結果模型自己在海量資料中,摸清了光線、三維幾何結構、物體遮擋與材質之間的互動規律。
即便遇到極具挑戰性的場景,比如把虛擬光源塞進半透明物體內部,或者給透明材質重新打光,模型也能生成相當可信的光線折射與陰影。
不過這項技術目前還不完美。研究團隊提到,場景中鏡子裡的反光暫時還無法同步更新。此外,Adobe 目前僅僅釋出了技術論文,程式碼和權重均未開源,使用者暫時還無法在公開網頁上直接體驗。
為什麼重要
對攝影師、電商賣家和平面設計師來說,這代表了後期修圖流程的巨大躍遷。如果未來這項能力被整合進 Photoshop 或 Lightroom,創作者拍完靜態樣片後,就能隨時在數字空間裡重新補光、換氛圍,試錯成本幾乎降為零。
對整個行業而言,TokenLight 證明了擴散模型與 Transformer 正在逐步吃掉傳統 3D 渲染器的工作。它不需要繁瑣的手工建模與貼圖,直接端到端學會了光度學規律,這會逼著傳統圖形工具加速與生成式架構融合。
我們認為 Adobe 這步走得很聰明,它避開了複雜的 3D 幾何管線重構,用標記化引數把控制權還給了習慣滑塊介面的創作者。但隱患也在於其實用落地:Adobe 歷來傾向於將核心技術封裝在自家的商業訂閱體系內,普通開發者別指望能拿到開源權重,且鏡面反射等物理盲區的修補,依然需要漫長的工程化落地。
來源 (1)
- arxiv.org(在新分頁開啟)原文arxiv.org