Tavus, 134ms 지연 시간의 실시간 아바타 렌더링 모델 Phoenix-4.5 공개

AI 비디오 아바타와 대화할 때 가장 몰입을 깨는 순간은 입만 기계적으로 뻐끔거리고 목 아랫부분은 석고상처럼 굳어 있을 때입니다.

Tavus가 실시간 인간 렌더링 모델인 Phoenix-4.5를 공개했습니다. 음성 입력에서 비디오 렌더링까지 걸리는 지연 시간을 134밀리초로 단축해 기존 시장 경쟁 모델들보다 25% 빨라졌으며, 얼굴뿐 아니라 상반신 전체를 하나의 프레임으로 자연스럽게 생성합니다.

얼굴 합성 버리고 화면 전체를 한 번에 렌더링

이전 버전인 Phoenix-4는 미리 녹화된 신체 영상 위에 약 512×512 픽셀 크기의 얼굴 영역만 따로 만들어 덧붙이는 방식을 사용했습니다. 연산량은 아낄 수 있었지만 얼굴 경계면이 어색하게 드러나고 몸은 부자연스럽게 정지해 있을 수밖에 없었습니다.

Phoenix-4.5는 이 경계면을 완전히 없앴습니다. GAN 기반의 생성형 렌더러를 바닥부터 다시 설계해 얼굴, 머리, 목, 어깨, 몸통, 옷, 배경까지 전체 화면을 단 한 번의 과정으로 통째로 그려냅니다.

합성 경계가 사라지면서 신체 표현의 자유도가 크게 열렸습니다. 말의 억양과 리듬에 맞춰 고개가 자연스럽게 기울어지고 어깨와 상체가 함께 움직입니다. 상대방이 말하는 동안에도 양방향 음성을 실시간으로 감지해 고개를 끄덕이거나 미세한 표정을 짓는 등 경청 반응을 이어가 대화가 끊겼을 때 갑자기 멈춰 서는 어색함도 줄였습니다.

내부 벤치마크 결과 입술 싱크 정확도는 16% 향상되었으며, 동작의 생동감을 나타내는 지표는 이전 세대 대비 1.3배 증가했습니다.

1분 만에 끝나는 프리뷰와 돋보이는 범용성

새로운 아바타를 만드는 과정도 훨씬 간편해졌습니다. Phoenix-4.5는 단 한 장의 사진이나 짧은 영상만 있으면 별도 학습 없이 약 1분 만에 실시간 대화형 프리뷰를 띄우는 제로샷 기능을 지원합니다.

사람을 대상으로 한 블라인드 선호도 평가에서 이 1분짜리 제로샷 프리뷰의 Elo 점수는 1002점을 기록해, 이전 모델인 Phoenix-4의 완제 모델 점수인 929점을 단숨에 넘어섰습니다. 정밀한 디테일을 보완하는 파인튜닝 역시 기존 4시간에서 2시간으로 절반가량 줄었으며 파인튜닝 후 점수는 1069점까지 올라갑니다.

학습 실패율도 대폭 낮아졌습니다. 과거에는 어깨를 덮는 긴 머리, 안경, 커다란 귀걸이처럼 얼굴 윤곽을 가리는 요소가 있으면 학습 오류가 자주 발생했습니다. 새 모델에서는 기존 Phoenix-4에서 학습에 실패했던 인물 데이터 중 64%가 별도 수정 없이 정상적으로 학습을 마쳤습니다.

왜 중요한가

우리는 Phoenix-4.5가 실시간 화상 대화형 AI를 단순한 데모 수준에서 실제 상용화 단계로 끌어올린 중요한 이정표라고 봅니다.

고객 상담, 가상 튜터, 실시간 판매 에이전트를 개발하는 팀에게 134밀리초의 반응 속도와 상반신 제스처의 결합은 매우 실질적인 가치를 줍니다. 화상 통화에서는 몸이 굳어 있거나 대답이 반 박자만 밀려도 사용자가 즉시 어색함을 느끼기 때문입니다. 사진 한 장으로 1분 만에 프로토타입을 테스트할 수 있다는 점 역시 스타트업의 개발 진입 장벽을 크게 낮춥니다.

산업 측면에서도 얼굴만 오려 붙이던 기존 방식에 종지부를 찍는 신호탄입니다. 화면 전체를 생성하면서도 오히려 경쟁사보다 25% 빠른 속도를 증명했기 때문에, 경쟁 업체들도 전신 엔드투엔드 실시간 렌더링 구조로 전환을 서두를 수밖에 없을 것입니다.

다만 인프라 비용 문제는 여전히 지켜볼 부분입니다. 화면 전체를 생성형 방식으로 렌더링하는 작업은 국소 부위 합성보다 서버 부담이 훨씬 클 수밖에 없습니다. 초저지연을 달성한 것과 별개로 대규모 동시 접속 상황에서 상업적으로 감당 가능한 단가를 유지할 수 있을지가 앞으로의 성공을 가를 핵심 과제가 될 것으로 보입니다.