엔비디아 D-Rex 공개: 표정 풍부한 전신 아바타에 자유자재로 조명 입힌다

버추얼 프로덕션 현장에서 가장 까다로운 작업은 배경 합성이 아니라 조명을 맞추는 일입니다. 배경은 석양인데 인물에만 스튜디오의 차가운 백색광이 비치고 있다면, 아무리 그래픽이 정교해도 가짜 티를 벗기 어렵습니다.

엔비디아는 전신 디지털 휴먼 프레임워크인 D-Rex(Diffusion Rendering for Relightable Expressive Avatars)를 공개했습니다. 풍부한 얼굴 표정을 온전히 살리면서도, 어떤 가상 조명 환경에든 자유자재로 녹아들게 만드는 새로운 시스템입니다.

연기와 조명을 완벽히 분리하다

기존에 조명을 바꿀 수 있는 전신 아바타를 만들려면 복잡한 3D 물리 연산에 매달려야 했습니다. 인물의 3D 형상, 피부 반사율, 재질, 그림자 변화를 하나하나 물리적으로 분해하고 최적화해야 했기 때문입니다.

하지만 조명 계산과 3D 아바타 모델링을 하나로 묶어두면 연산이 지나치게 복잡해지고, 특히 미세한 얼굴 표정이 뭉개지기 일쑤였습니다. 이 때문에 게임이나 화상 회의에서 생동감 있는 표정을 유지하기가 무척 어려웠습니다.

D-Rex는 이 문제를 전혀 다른 방식으로 풀었습니다. 3D 공간에서 물리 조명을 억지로 계산하는 대신, 재조명 작업을 2D 이미지 후처리 단계로 완전히 분리해 버린 것입니다.

먼저 1단계에서는 단순한 백색광 환경에서 감정 표현이 풍부한 기본 전신 아바타를 학습시킵니다. 이 베이스 아바타는 복잡한 그림자에 신경 쓸 필요 없이, 자연스러운 몸짓과 디테일한 얼굴 표정, 시점 변환에만 집중해 깨끗한 플랫 렌더링 영상을 뽑아냅니다.

가상 조명 기사로 변신한 비디오 확산 모델

연기가 끝난 평면 영상에 생명을 불어넣는 것은 2단계 비디오 확산 모델입니다.

연구진은 라이트 스테이지(Light Stage)에서 촬영한 페어 데이터를 사용해 사전 학습된 비디오 확산 모델을 LoRA로 미세 조정했습니다. 이 모델이 백색광 아래의 아바타 영상을 전달받아, 목표로 하는 고동적영역(HDR) 환경 조명에 맞춰 자연스럽게 변환해 냅니다.

확산 모델이 보유한 시각적 생성 능력 덕분에 피부의 미세한 빛 반사와 옷 주름의 그림자가 매우 사실적으로 덧입혀집니다. 시점이 바뀌거나 인물이 움직여도 시간적·공간적 일관성이 유지됩니다.

무엇보다 앞단의 아바타는 표준 백색광 데이터만 있으면 되기 때문에, D-Rex를 기존의 다른 백색광 아바타 시스템에도 개조 없이 그대로 얹어 쓸 수 있습니다.

왜 중요한가

그동안 디지털 휴먼 업계는 제어가 쉽지만 딱딱한 3D 물리 엔진 방식과, 사실적이지만 제어가 어려운 생성형 AI 방식 사이에서 줄타기를 해왔습니다.

D-Rex는 3D 모델로 뼈대와 미세 표정을 정밀하게 잡고, 2D 확산 모델로 실감 나는 빛과 질감을 완성하는 현명한 타협점을 찾아냈습니다. 이러한 하이브리드 구조는 향후 버추얼 프로덕션, 차세대 게임, 원격 아바타 기술의 표준 워크플로가 될 가능성이 높습니다.

창작자 입장에서는 씬의 조명이 바뀔 때마다 복잡한 3D 렌더링 셰이더를 다시 만지작거릴 필요 없이, 표정이 살아 있는 아바타를 어떤 배경에든 곧바로 합성할 수 있게 됩니다.

다만 D-Rex는 현재 논문과 프로젝트 페이지가 공개된 선행 연구 단계이며, 바로 다운로드해 쓸 수 있는 상용 플러그인은 아닙니다. 비디오 확산 모델을 후처리로 사용하는 만큼, 인물이 매우 빠르게 움직일 때 발생할 수 있는 미세한 지터링 현상을 실무 파이프라인에서 어떻게 제어할지가 향후 상용화의 관건입니다.