VR 전신 아바타 SARAH：3D 공간 인식으로 자연스러운 시선 교환 구현

VR 기기를 쓰고 디지털 아바타와 대화할 때 몰입을 깨는 가장 큰 요인은 뻣뻣한 반응입니다. 사용자가 방 안을 돌아다녀도 허공을 바라보며 정해진 동작만 반복하면 금세 기계라는 느낌을 받게 됩니다.

연구진은 사용자의 3D 공간 위치를 실시간으로 인식해 몸을 돌리고 눈을 맞추는 전신 아바타 시스템 SARAH(Spatially Aware Real-time Agentic Humans)를 공개했습니다.

눈맞춤 강도를 직접 조절하는 인터랙션

기존의 동작 생성 모델은 음성에 맞춰 손짓을 만들어낼 뿐, 상대방이 어디에 서 있는지 알지 못하는 경우가 많았습니다. SARAH는 대화 음성과 사용자의 머리 3D 위치를 동시에 입력받아 발화에 맞는 몸짓을 생성하면서 동시에 사용자를 향해 몸의 방향과 자세를 실시간으로 바꿉니다.

가장 눈에 띄는 기능은 시선 제어 메커니즘입니다. 시선 점수화 구조와 Classifier-Free Guidance 방식을 결합해 공간 학습과 시선 제어를 성공적으로 분리해 냈습니다.

덕분에 사용자는 대화 도중 시선 접촉 강도를 자유롭게 조절할 수 있습니다. 강도를 0으로 두면 평소 사람처럼 이따금 시선을 돌리는 자연스러운 대화가 연출되고, 1로 올리면 상대를 똑바로 응시합니다. 취향에 따라 부담스럽지 않은 수준으로 대화 매너를 설정할 수 있는 셈입니다.

300FPS를 넘나드는 초고속 실시간 스트리밍

VR 헤드셋 환경에서 끊김 없이 구동되도록 아키텍처도 대폭 개선했습니다. 인과적 트랜스포머 기반 VAE와 인터리빙 잠재 토큰을 플로우 매칭 모델과 결합해 실시간 스트리밍 추론을 구현했습니다.

Embody 3D 데이터셋 테스트 결과, SARAH는 300FPS가 넘는 구동 속도를 기록했습니다. 기존 비인과적 기준 모델보다 3배 빠르며, 3년 전 등장했던 MDM 같은 확산 기반 모델과 비교해도 손동작이 훨씬 부드럽고 튀는 왜곡 현상이 크게 줄었습니다.

지연 시간이 극도로 낮아 실제 VR 스트리밍 시스템 검증까지 마쳤습니다. 정해진 자리에 서서 말을 읊는 껍데기가 아니라, 나의 움직임에 반응해 발을 맞추는 가상 동반자를 현실화한 것입니다.

왜 중요한가

우리는 SARAH가 대규모 파라미터 경쟁 대신 지연 시간과 공간 인식이라는 VR의 본질에 집중한 점을 높이 평가합니다. 가상현실에서는 그래픽 디테일보다 즉각적인 반응과 정확한 시선 교환이 몰입감을 좌우하기 때문입니다.

300FPS를 넘는 가벼운 연산 효율은 값비싼 모션 캡처 장비 없이도 소비자용 VR 기기에서 생생한 전신 아바타를 구현할 수 있음을 보여줍니다. 가상 동반자 서비스나 VR 원격 회의, 인터랙티브 게임 NPC를 개발하는 팀에게 매우 유용한 기술적 이정표가 될 것입니다.

물론 현재는 1대1 대화 환경에 초점이 맞춰져 있어, 다자간 대화나 복잡한 물리 상호작용 속에서의 안정성은 추가 검증이 필요합니다. 하지만 디지털 휴먼이 나를 똑바로 바라보고 자세를 고쳐잡는 순간, 가상공간의 거리감은 이미 완전히 달라졌습니다.