AdobeがTokenLight発表：2D写真の光源を3Dで自由自在に再配置

撮影現場でのライティングの失敗は、レタッチ作業において最も骨の折れる問題の一つです。後から Photoshop で不自然にならないよう影やハイライトを描き足すには、膨大な手間がかかります。

Adobe は画像リライティング技術に関する研究論文「TokenLight」を公開しました。静止した 1 枚の 2D 写真でありながら、まるで 3D 空間のように仮想の照明を配置して光と影を再構築できる技術です。

スライダー感覚で 3D 光源を操る仕組み

従来の 2D レタッチで行われていた大まかな明暗補正とは異なり、TokenLight は生成モデルを用いたアプローチを採用しています。

光の強度、色、環境光、拡散度合い、そして 3D 空間上の光源座標といった要素を属性トークンとしてモデルに入力し、条件付き生成を行います。

ユーザーは方向キーを使って、写真内の自由な位置に光源を配置したり移動させたりできます。被写体に近づけたり遠ざけたりすることで、光源の 3D 的な位置関係が反映され、陰影やハイライトがリアルタイムに更新されます。

光の拡散具合も無段階スライダーのように調整可能です。拡散度を低くすればクッキリとした硬い影になり、数値を上げれば全体を包み込むような柔らかい拡散光へと変化します。

明示的な物理演算なしに陰影を学習

このモデルの最大の驚きは、空間の立体構造を把握する能力の高さにあります。

通常、説得力のある光の再計算には、深度情報や法線ベクトル、材質の反射率を推定する逆レンダリング処理が不可欠とされてきました。しかし TokenLight はその手法を取っていません。

研究チームはアノテーション付きの大規模な合成データセットと少量の実写写真を用いてモデルを訓練しました。その結果、明示的な 3D 監督がないにもかかわらず、モデル自身が光と幾何構造、遮蔽、素材特性の相互関係を内在的に獲得しました。

透明なガラス素材を通過する光や、オブジェクトの内部に光源を埋め込むような極めて難度の高いシーンでも、破綻の少ない光の演出が可能です。

ただし課題もあります。現時点では鏡に映る光の反射までは正しく追従・更新されません。また、公開されたのは技術論文のみで、コードや重みの一般公開は予定されていません。

なぜ重要か

フォトグラファーや EC サイトの商品画像制作者にとって、この技術は撮影後の手戻りを劇的に減らす可能性を秘めています。静止画を 1 枚撮影しておけば、後から自由な角度や色でライティングをやり直せるようになるからです。

業界全体で見れば、TokenLight は生成 AI が従来の 3D レンダラーの領域を確実に侵食しつつあることを示しています。複雑な 3D モデリングを行わなくても、ニューラルネットワークが光の物理法則を端から端まで再現できることが証明されました。

テキストプロンプトによる曖昧な指示ではなく、属性トークンを使ってスライダーによる連続的な制御を実現した点は非常にスマートだと考えられます。一方で Adobe の研究である以上、オープンソース化は期待しづらく、鏡面反射の処理など実用化に向けた課題が公式ツールにどう統合されるかが今後の焦点となります。