비디오 재조명 프레임워크 Relit-LiVE: 카메라 트래킹 없이 안정적인 물리 광원 구현

촬영을 마친 영상의 조명을 바꾸는 작업은 시각특수효과(VFX) 업계에서 늘 까다로운 영역이었습니다. 카메라 트래킹으로 3차원 공간을 일일이 복원해 다시 렌더링하거나, 생성형 AI로 화면을 덧칠해야 했는데, 전자는 품이 너무 많이 들고 후자는 긴 영상에서 그림자가 깜빡이거나 원래 조명이 지워지지 않는 문제가 있었습니다.

이 한계를 해결하기 위해 연구진이 SIGGRAPH 2026 채택 논문을 통해 공개한 기술이 비디오 재조명 프레임워크 Relit-LiVE입니다. 외부 소식에서는 Wan2.1 기반으로 자세 추정 없이 비디오와 이미지를 재조명하는 도구로 소개되고 있으며, 사전 카메라 포즈 데이터가 전혀 필요하지 않다는 점을 핵심으로 내세웁니다.

환경 맵과 재조명 프레임을 한 번에 예측한다

기존 영상 재조명 방식은 늘 딜레마에 부딪혔습니다. 프레임을 직접 생성하면 공간 일관성이 깨지기 쉽고, 렌더링 기반 방식을 쓰자니 정밀한 카메라 궤적 추적과 내부 속성 분해에 지나치게 의존해야 했습니다.

Relit-LiVE는 이 과정을 단일 확산 프로세스로 묶어냈습니다. 조명이 변경된 영상 프레임과, 시점에 맞게 왜곡된 프레임별 환경 맵을 동시에 생성하는 방식입니다.

핵심 기술 중 하나는 RGB와 내부 속성을 융합한 렌더러입니다. 원본 참조 이미지를 렌더링 경로에 직접 주입해, 기존 방식에서 쉽게 날아가던 미세한 재질 디테일과 표면 거칠기를 그대로 보존합니다. 여기에 잠재 공간 보간과 순환 일관성 기반 자기지도 학습을 더해, 격렬한 움직임이 포함된 긴 영상에서도 반사와 그림자가 흔들리지 않도록 잡았습니다.

조명 변경을 넘어 재질 교체와 디라이팅까지

Relit-LiVE는 단순히 낮을 밤으로 바꾸는 수준에 그치지 않습니다. 조명 정보를 프레임 단위 환경 맵으로 분리해 이해하기 때문에 다양한 후반 편집을 단일 파이프라인에서 처리할 수 있습니다.

대표적인 기능이 비디오 디라이팅입니다. 영상에 이미 새겨진 강한 그림자와 반사광을 깔끔하게 지워내 원본 형태만 남긴 뒤, 새로운 조명을 얹을 수 있는 깨끗한 베이스를 만들어줍니다.

또한 재질을 교체하거나 영상 안에 가상의 3D 오브젝트를 자연스럽게 합성하는 작업도 지원합니다. 환경 맵이 매 프레임 정확하게 정렬되어 있어, 추가된 물체에도 주변 환경에 맞는 물리적 반사와 그림자가 알아서 들어갑니다.

왜 중요한가

저희는 Relit-LiVE가 까다로운 카메라 트래킹 전제 조건을 없앴다는 점에 가장 큰 의미가 있다고 봅니다.

지금까지의 고품질 신경망 렌더링 도구들은 핸드헬드 촬영처럼 흔들림이 심하거나 텍스처가 부족한 실사 영상에서 트래킹이 빗나가기 일쑤였습니다. Relit-LiVE는 확산 모델이 변형 환경 맵을 함께 학습하도록 설계함으로써, 명시적인 카메라 포즈 감독 없이도 기하 구조와 조명의 정렬을 스스로 유지할 수 있음을 증명했습니다.

영상 편집자와 3D 아티스트에게는 작업 방식을 크게 바꿀 기회입니다. 실사 클립 하나를 가져와 기존 조명을 지우고, 질감을 바꾸고, 3D 에셋을 얹는 일련의 과정이 매치무빙 작업 없이도 단일 워크플로 안에서 가능해지기 때문입니다.

영상과 환경 맵을 동시에 연산해야 하는 만큼 하드웨어 리소스 부담은 있겠지만, 순수 블랙박스 확산 모델에 의존하지 않고 물리적 렌더링 파이프라인을 똑똑하게 결합해 낸 완성도 높은 시도라고 판단됩니다.