어도비 TokenLight 발표: 2D 사진 속 조명을 3D로 자유롭게 재배치

촬영 현장에서 조명이 빗나가면 후반 작업은 악몽이 됩니다. 2D 사진 위에 일일이 그림자를 그리고 하이라이트를 덧칠하는 작업은 시간도 오래 걸리고 자칫 부자연스러워지기 십상입니다.

어도비는 단 한 장의 사진 속 조명을 자유자재로 다시 연출할 수 있는 이미지 리라이팅 연구 TokenLight를 발표했습니다.

슬라이더로 3D 광원을 자유롭게 배치하다

기존의 명암 보정이 평면적인 밝기 조정에 그쳤다면, TokenLight는 조명 제어를 조건부 생성 작업으로 재정의했습니다.

연구진은 조명의 강도, 색상, 환경광, 확산 정도, 3D 광원 위치 등 핵심 속성들을 토큰으로 변환해 트랜스포머 기반 생성 모델에 입력했습니다.

사용자는 방향키를 사용해 사진 속 원하는 위치에 가상 조명을 마음대로 배치할 수 있습니다. 조명을 피사체에 바짝 붙이거나 멀리 밀어내는 3D 깊이 조절도 가능하며, 위치가 바뀔 때마다 그림자와 하이라이트가 즉각적으로 자연스럽게 다시 계산됩니다.

빛의 확산 정도 역시 슬라이더로 매끄럽게 조절됩니다. 값을 낮추면 그림자 경계가 날카로워지고, 값을 올리면 전체적으로 부드러운 산란광이 연출됩니다.

물리 엔진 없이도 빛의 상호작용을 터득한 모델

TokenLight가 특히 놀라운 점은 장면의 입체감을 이해하는 방식입니다.

기존 리라이팅 기술은 깊이 맵이나 표면 법선 벡터를 계산하는 명시적인 역렌더링 감독 과정을 거쳐야 했습니다. 하지만 TokenLight는 이 복잡한 단계를 거치지 않았습니다.

정확한 조명 라벨이 붙은 대규모 합성 데이터와 소량의 실제 촬영 데이터를 결합해 학습시킨 결과, 모델 스스로 빛이 사물의 기하학적 형태, 가림 현상, 재질과 어떻게 상호작용하는지 깨우쳤습니다.

심지어 투명한 재질을 통과하는 빛이나 물체 내부에 가상 광원을 집어넣는 까다로운 연출에서도 매우 그럴듯한 그림자와 반사 효과를 만들어냅니다.

물론 아직 완벽하지는 않습니다. 거울 속에 비친 반사광은 조명 이동에 맞춰 함께 갱신되지 못하는 한계가 있습니다. 또한 현재는 기술 논문만 공개되었을 뿐 오픈소스로 배포되지는 않았습니다.

왜 중요한가

상업 사진작가나 그래픽 디자이너에게 이 기술은 작업 흐름의 근본적인 변화를 예고합니다. 촬영 후에도 스튜디오 조명을 바꾸듯 사진 분위기를 손쉽게 재구성할 수 있어 재촬영 부담이 크게 줄어듭니다.

업계 차원에서는 생성 AI가 기존 3D 렌더러의 영역을 빠르게 흡수하고 있음을 보여줍니다. 복잡한 3D 모델링 없이도 신경망이 광학 법칙을 직접 학습해 제어 가능한 수준으로 끌어올렸기 때문입니다.

모호한 텍스트 프롬프트 대신 속성 토큰을 도입해 정밀한 슬라이더 조작을 구현한 점은 매우 영리해 보입니다. 다만 어도비의 연구 특성상 코드가 오픈소스로 풀릴 가능성은 낮으며, 거울 반사와 같은 물리적 예외를 보완해 실제 크리에이티브 클라우드 기능으로 얼마나 완성도 높게 안착시킬지가 관건입니다.