애플, 2D 사진만으로 조명 조절 가능한 3D 얼굴 생성하는 FaceLit 공개

조명 환경과 카메라 앵글을 자유롭게 바꿔도 어색하지 않은 사실적인 3D 얼굴을 제작하려면, 지금까지는 전용 라이트 스테이지 장비나 다각도 카메라 스튜디오, 그리고 막대한 수작업 라벨링이 필수적이었습니다.

애플 연구진은 이러한 복잡한 촬영 파이프라인을 단번에 건너뛰는 접근법을 선보였습니다.

애플 머신러닝 연구팀은 새로운 생성 프레임워크인 FaceLit을 공개했습니다. 값비싼 캡처 장비나 수동 주석 작업 없이, 웹상에 널려 있는 평범한 2D 이미지들만 학습해 사용자가 원하는 조명과 각도로 자유롭게 렌더링할 수 있는 3D 얼굴을 생성해 냅니다.

물리 반사 모델을 신경 렌더링에 결합하다

통제되지 않은 야외 2D 사진을 바탕으로 3D 얼굴을 만들 때 가장 큰 난제는 사진 속 고정된 그림자와 하이라이트에서 실제 얼굴의 입체 형태를 분리해 내는 일이었습니다.

FaceLit은 이를 해결하기 위해 기존에 상용화된 포즈 및 조명 추정기를 영리하게 활용했습니다. 연구팀은 이 추정값을 바탕으로 고전 컴퓨터 그래픽스 기술인 퐁 반사 모델(Phong reflectance model)을 신경 볼륨 렌더링 프레임워크에 직접 결합했습니다.

이를 통해 모델은 얼굴의 단순한 외형뿐 아니라 표면 재질 속성까지 나누어 학습합니다. 현실적인 조명과 시점 통계에 맞춰 렌더링되기 때문에, 시점을 돌리거나 조명 위치를 옮겨도 3D 다각도 일관성과 자연스러운 음영을 그대로 유지합니다.

실험 결과 FaceLit은 FFHQ, MetFaces, CelebA-HQ 등 여러 표준 데이터셋에서 명시적인 조명 및 시점 제어 능력을 입증했습니다. 특히 FFHQ 데이터셋에서는 3D 인식 GAN 모델 중 최고 수준인 FID 3.5를 기록하며 뛰어난 사실감을 입증했습니다.

왜 중요한가

FaceLit의 핵심 가치는 고품질 3D 디지털 에셋의 제작 장벽을 획기적으로 낮춘 데 있습니다.

향후 이 기술이 게임이나 버추얼 휴먼, 특수효과 제작 현장에 접목된다면 복잡한 3D 스캔 스튜디오를 거치지 않고도 일상적인 2D 사진 몇 장만으로 스튜디오급 3D 모델을 구축하는 길이 열립니다.

특히 신경망에 모든 물리 현상을 무작정 학습시키려 하지 않고, 검증된 그래픽스 물리 반사 모델을 구조적 제약으로 부여한 점이 영리합니다. 이 덕분에 정제되지 않은 단안 2D 사진 데이터에서도 안정적인 재질 분리가 가능했습니다.

다만 선행 단계인 포즈 및 조명 추정기의 정확도에 결과물이 영향을 받을 수밖에 없다는 점은 한계로 꼽힙니다. 현재는 연구 프레임워크 단계에 머물러 있지만, 향후 실감형 XR 기기나 온디바이스 3D 아바타 생성의 기술적 토대를 보여준다는 점에서 눈여겨볼 만합니다.