Adobe 发布 TokenLight:单张照片能用 3D 光源随意重新打光
Adobe 公布图像重打光研究 TokenLight。它把强度、颜色和 3D 光源位置转化为标记输入模型,用户能像拖滑块一样在照片里随意加灯并连续调整漫反射。最值得关注的是,模型没靠显式 3D 渲染监督就学会了光线与几何体的交互。不过目前仅发布了论文,暂未开放体验。

商业摄影里最折磨人的环节之一就是打光。现场布光要是没布置到位,后期在 Photoshop 里一层层补阴影、调高光,不仅费时费力,还很容易显得塑料感十足。
Adobe 公布了一项名为 TokenLight 的图像重打光研究。这项技术的核心能力很简单:给你一张普通的 2D 照片,你能像在 3D 渲染软件里一样,随意往场景里加灯、挪位置,光影会实时跟着变化。
像调滑块一样摆弄 3D 光源
传统的 2D 调光大多是全局滤镜或者粗糙的局部涂抹,很难准确模拟真实物理空间里的光线投射。
TokenLight 走的是生成式路线。研究团队把强度、颜色、环境照明、漫反射程度以及 3D 光源坐标全部转化为属性标记,输入到 Transformer 架构的生成模型中。
在演示中,用户可以通过方向键在画面的任意角落放置光源。你可以把灯拉远,或者让它贴近物体表面,画面中的阴影、高光和整体照明都会立刻重新计算并逼真更新。
漫反射程度也可以无级微调。滑块拉到较低数值时,光线和阴影边缘会变得格外锐利;调高漫反射数值后,投射出来的则是柔和散落的环境光。
没学过物理引擎,却摸透了光影规律
这套系统最让人意外的地方,在于它的空间感知能力。
以往要实现这种级别的重光照,往往需要显式的逆向渲染监督,比如先估算深度图、法线图和物体表面反射率。但 TokenLight 并没有走这种传统路线。
研究团队主要使用带标注的大规模合成数据进行训练,再补充少量真实照片来提升质感和泛化表现。结果模型自己在海量数据中,摸清了光线、三维几何结构、物体遮挡与材质之间的互动规律。
即便遇到极具挑战性的场景,比如把虚拟光源塞进半透明物体内部,或者给透明材质重新打光,模型也能生成相当可信的光线折射与阴影。
不过这项技术目前还不完美。研究团队提到,场景中镜子里的反光暂时还无法同步更新。此外,Adobe 目前仅仅发布了技术论文,代码和权重均未开源,用户暂时还无法在公开网页上直接体验。
为什么重要
对摄影师、电商卖家和平面设计师来说,这代表了后期修图流程的巨大跃迁。如果未来这项能力被整合进 Photoshop 或 Lightroom,创作者拍完静态样片后,就能随时在数字空间里重新补光、换氛围,试错成本几乎降为零。
对整个行业而言,TokenLight 证明了扩散模型与 Transformer 正在逐步吃掉传统 3D 渲染器的工作。它不需要繁琐的手工建模与贴图,直接端到端学会了光度学规律,这会逼着传统图形工具加速与生成式架构融合。
我们认为 Adobe 这步走得很聪明,它避开了复杂的 3D 几何管线重构,用标记化参数把控制权还给了习惯滑块界面的创作者。但隐患也在于其实用落地:Adobe 历来倾向于将核心技术封装在自家的商业订阅体系内,普通开发者别指望能拿到开源权重,且镜面反射等物理盲区的修补,依然需要漫长的工程化落地。
来源 (1)
- arxiv.org(在新标签页打开)原文arxiv.org