타버스, 대화형 비디오 AI 모델 3종 출시…얼굴 표정·시각 인지 대폭 개선

화상 통화에서 상대가 AI라는 이질감을 느끼게 되는 순간은 화질 때문이 아니라, 말을 끝낸 뒤 이어지는 어색한 정적과 타이밍을 놓친 대답 때문입니다.

대화형 비디오 인터페이스(CVI) 전문 기업인 Tavus는 이러한 어색함을 해소하기 위해 3월 6일 세 가지 신규 AI 모델인 Phoenix-3, Raven-0, Sparrow-0을 발표하고 API를 통해 즉시 공개했습니다.

인간과 AI가 마주 보고 대화하는 경험을 완성하기 위해, Tavus는 표정 생성, 시각 인식, 대화 턴오버라는 세 가지 축을 각기 다른 전용 모델로 나눴습니다.

표정, 시각, 대화 타이밍을 분담한 세 모델

Phoenix-3는 얼굴 전체의 미세 표정과 정밀한 립싱크를 구현하는 애니메이션 모델입니다. 본래 인물의 외형적 특징을 왜곡 없이 유지하면서, 대화 맥락에 맞춘 감정 변화를 자연스럽게 이어갑니다.

Raven-0은 에이전트에게 실시간 시각 인식 능력을 부여합니다. 화면에 뜬 텍스트를 읽고, 사람의 손짓이나 제스처를 인식하며, 상대방의 감정 상태를 포착해 시각적 단서에 맞게 즉시 반응하도록 돕습니다.

대화의 호흡을 담당하는 모델은 Sparrow-0입니다. 사람이 언제 말을 끝냈는지, 혹은 잠시 숨을 고르는 중인지를 파악해 자연스러운 발화 리듬을 만듭니다. 대화 전환 정확도를 측정하는 평균 절대 오차(MAE)에서 기존 최고치인 1.7467을 크게 앞선 0.3989를 기록했습니다.

세 모델은 Tavus의 대화형 비디오 운영체제 안에서 실시간 생각의 사슬로 맞물려 작동합니다. 함께 시연된 AI 에이전트 Charlie는 사람과 매끄럽게 대화하면서 실시간 인터넷 검색, 화면 분석, 이미지 생성을 자연스럽게 수행했습니다.

왜 중요한가

AI 세일즈나 화상 고객 지원, 1:1 맞춤형 튜터를 구축하려는 기업에게 매우 실용적인 도구입니다. 지금까지의 비디오 아바타는 질문을 던진 뒤 몇 초간 굳어버리거나 대화 흐름을 끊어먹기 일쑤였지만, 이제 API 연동만으로 한층 자연스러운 화상 상담원을 도입할 수 있습니다.

우리는 Tavus의 이러한 세분화 전략이 매우 영리하다고 평가합니다. 단순히 해상도가 뛰어난 영상을 렌더링하는 데 집착하기보다, 대면 대화에서 인간적 신뢰를 결정짓는 미세 표정과 말 끊김 방지라는 핵심 인터랙션 병목을 정확히 공략했기 때문입니다.

다만 실시간 시각 처리와 턴오버 제어가 동시에 돌아갈 때 발생하는 지연 시간과 API 호출 비용은 여전히 넘어야 할 산입니다. Tavus의 전망대로 디지털 휴먼이 스마트폰처럼 대중화되려면, 고단가 비즈니스뿐 아니라 일반 서비스에서도 감당할 수 있는 가격 경쟁력이 입증되어야 합니다.