영상 속 빛과 법선까지 다루는 'UniVid-X' 공개…정밀 재조명·배경 합성 지원

지금까지의 AI 비디오 생성기는 결과물을 납작한 픽셀 평면으로 쏟아냈습니다. 일단 영상이 생성되고 나면 조명의 방향을 바꾸거나 특정 인물만 깨끗하게 누끼를 따는 작업이 거의 불가능에 가까웠습니다.

연구진은 영상의 물리적 내부 속성을 분해하고 제어할 수 있는 멀티모달 비디오 프레임워크 'UniVid-X'를 공개했습니다.

단순 영상 생성을 넘어 고유 물리 속성까지 추론

UniVid-X는 비디오 확산 모델을 기반으로 일반적인 RGB 컬러 영상뿐 아니라, 물체 고유의 색상인 알베도, 빛의 조도 정보, 표면 방향을 나타내는 노멀 맵을 함께 이해하고 생성합니다.

여기에 전경과 배경을 분리하는 알파 채널까지 생성해 내며, 비디오를 구성하는 핵심 요소들을 레이어 단위로 분리할 수 있습니다.

실제 활용 예시는 매우 직관적입니다. 방 안을 비추는 단 한 편의 비디오를 입력하면 모델이 표면 법선과 조명을 분석해 내며, 여기에 "황혼의 햇빛"이라는 지시를 추가하는 것만으로 장면 전체를 자연스럽게 재조명합니다.

또한 완벽하게 분리된 전경과 배경 레이어를 바탕으로 특정 캐릭터만 다른 인물로 교체하거나, 뒷배경을 완전히 새로운 장소로 합성할 수 있습니다. 실험 결과에 따르면 표면 법선 추정과 비디오 매팅 성능 모두 기존 경쟁 모델 대비 훨씬 뛰어난 정확도를 보였습니다.

1,000개 미만의 비디오로 달성한 범용성

지금까지는 배경 분리나 노멀 추출 같은 작업마다 개별 전문 모델을 따로 학습시켜야 했습니다. 이 방식은 입력과 출력이 고정되어 모달리티 간의 유기적인 상관관계를 학습하기 어려웠습니다.

UniVid-X는 세 가지 핵심 아키텍처로 이 한계를 풀었습니다. 먼저 확률적 조건 마스킹(SCM)을 통해 학습 과정에서 조건과 대상을 무작위로 분할하여 양방향 조건부 생성을 가능하게 했습니다.

모달리티마다 별도의 LoRA를 적용하는 디커플드 게이티드 LoRA(DGL)는 대상 모달리티를 생성할 때만 활성화되어 기본 모델의 강력한 비디오 생성 성능을 온전히 보존합니다.

마지막으로 크로스 모달 셀프 어텐션(CMSA)을 도입해 서로 다른 모달리티 간 키와 값을 공유하며 조명과 형태의 정렬을 완벽하게 맞췄습니다. 연구팀은 이를 바탕으로 물리 속성을 다루는 UniVid-Intrinsic과 알파 레이어를 다루는 UniVid-Alpha를 구현했으며, 놀랍게도 1,000개 미만의 비디오 데이터셋만으로 복잡한 실제 환경 영상까지 안정적으로 처리했습니다.

왜 중요한가

영상 편집자와 VFX 아티스트에게 이번 성과는 AI 비디오를 실무 파이프라인에 편입시킬 수 있는 실마리를 제공합니다. 수정이 불가능했던 통짜 비디오 대신 법선 맵과 알파 채널을 직접 확보할 수 있어, 애프터 이펙트나 3D 그래픽 툴을 활용한 정밀 후반 작업이 가능해집니다.

산업적 측면에서도 개별 컴퓨터 비전 태스크마다 거대 모델을 따로 구축할 필요 없이, 단일 비디오 확산 모델의 사전 지식을 그래픽스 전반으로 확장할 수 있음을 입증했습니다.

우리는 UniVid-X가 1,000편도 안 되는 적은 영상만으로 뛰어난 제로샷 일반화 성능을 이끌어낸 점을 가장 인상적인 부분으로 봅니다. 방대한 데이터 물량 공세 대신 아키텍처 설계의 효율성을 증명한 영리한 접근입니다. 다만 현재는 연구 단계인 만큼, 향후 긴 영상 생성 시의 시간적 일관성과 실시간 추론 속도를 확보하는 것이 상용화의 핵심 과제가 될 것입니다.