타부스, 감정 제어 지원하는 실시간 디지털 휴먼 모델 '피닉스-4' 공개

지금까지의 실시간 AI 아바타와 대화를 나눠본 사람이라면 누구나 특유의 불쾌한 골짜기를 느껴봤을 것입니다. 입모양은 제법 맞지만 시선은 어색하고, 심각하거나 슬픈 이야기를 꺼내도 입가에 고정된 미소를 그대로 띤 채 고개만 기계적으로 까딱거리기 일쑤였습니다.

샌프란시스코의 AI 기업 타버스(Tavus)는 2월 18일, 감정 제어 기능을 갖춘 실시간 인간 렌더링 모델 'Phoenix-4'를 공개했습니다. 단순한 립싱크 아바타를 넘어 상황에 맞춰 감정 표현과 경청 행동을 실시간으로 구현하는 행동 생성 엔진을 표방합니다.

반복 재생 영상 버리고, 머리부터 어깨까지 전체 픽셀 실시간 렌더링

기존 실시간 아바타의 상당수는 미리 녹화된 비디오 루프를 틀어놓고 입가 주변의 일부 픽셀만 갈아 끼우는 방식을 써왔습니다. 듣는 상태에서는 준비된 동영상을 반복 재생하다 보니 눈 깜빡임이나 고개 끄덕임의 타이밍이 대화 내용과 겉도는 한계가 뚜렷했습니다.

Phoenix-4는 이 방식을 완전히 탈피했습니다. 듣기와 말하기를 동시에 처리하는 풀듀플렉스(full-duplex) 구조를 기반으로, 1080p 해상도와 40fps의 속도로 머리, 어깨, 눈 깜빡임까지 모든 픽셀을 실시간 생성합니다.

내부적으로는 수천 시간의 대화형 데이터를 학습한 하이브리드 가우시안-디퓨전(Gaussian-diffusion) 아키텍처를 채택했습니다. 스트리밍 음성에서 타이밍과 대화 맥락을 추출한 뒤 장기 메모리 모듈과 디퓨전 헤드를 거쳐 모션 계수를 생성하고, 이를 3D 가우시안 스플래팅(3D Gaussian Splatting) 렌더러로 지연 없이 출력합니다. 정형화된 표정 프리셋 대신 학습된 잠재 공간을 활용해 미세 표정까지 자연스럽게 이어집니다.

10가지 이상 감정 제어, 프롬프트로 표정 조절

가장 눈에 띄는 대목은 말할 때뿐 아니라 상대방의 말을 경청할 때도 감정을 명시적으로 조작할 수 있다는 점입니다.

행복, 슬픔, 분노, 놀람, 혐오, 공포, 흥분, 호기심, 만족감 등 10가지 이상의 감정 상태를 매끄럽게 오갈 수 있습니다. 개발자는 대화 맥락에 따라 모델이 스스로 감정을 드러내게 하거나, LLM 및 프롬프트를 통해 특정 감정 톤을 직접 지정할 수 있습니다.

현재 이 모델은 Tavus 플랫폼과 API, 40여 종의 신규 복제 아바타 라이브러리를 통해 제공되고 있습니다.

왜 중요한가

우리는 Phoenix-4가 디지털 휴먼 기술의 기준을 '단순한 화질'에서 '행동의 현실감'으로 전환시켰다고 봅니다.

개발자와 기업 입장에서 가장 큰 수혜는 섬세한 공감이 필요한 영역으로의 진출입니다. 고정된 미소만 짓는 기존 아바타는 단순 상품 안내에는 쓸 수 있었을지 몰라도 심리 상담, 의료 문진, 심층 면접처럼 비언어적 경청과 반응이 필수적인 분야에서는 거부감만 키웠습니다. 프롬프트 하나로 리액션과 감정 표현을 세밀하게 제어할 수 있게 되면서 실제 인간과 대면하는 듯한 서비스 구축이 가능해졌습니다.

다만 1080p 40fps 환경에서 프레임 전체를 실시간 디퓨전과 가우시안 기법으로 렌더링하는 만큼, 연산 인프라 비용과 네트워크 안정성이 상용화의 핵심 문턱이 될 것으로 보입니다. 아울러 미세 표정과 맞장구까지 완벽히 흉내 내는 실시간 가상 인간의 등장은 영상 통화 사기나 딥페이크 악용의 식별을 한층 어렵게 만들 수 있다는 우려도 남깁니다.