타버스, 상호작용 모델 '그리핀' 공개…영상통화 시험서 48%가 사람으로 착각

AI 아바타와 화상 통화를 해본 사람이라면 누구나 특유의 어색함을 느껴봤을 것입니다. 말을 하려 숨을 들이쉬는 순간 끼어들거나, 내 말이 끝나고 한참 뒤에야 로봇 같은 표정으로 영혼 없는 대답을 내놓는 식입니다.

AI 스타트업 Tavus는 10월 1일, 실시간 대면 상호작용에 특화된 모델 Griffin을 공개했습니다. 회사는 이를 단순한 대화형 아바타가 아닌 세계 최초의 ‘인간 상호작용 모델(HIM)’로 정의했습니다. 음성 인식과 거대언어모델, 비디오 합성을 단순 연결하던 기존 방식에서 벗어나, 상대를 보고 듣고 말하고 반응하는 과정을 하나의 시스템 안에서 동시에 처리하는 풀듀플렉스(전이중) 비디오 투 비디오 구조를 채택했습니다.

54명을 대상으로 진행한 블라인드 통화 테스트에서, Griffin-Lite와 1분간 대화한 참가자의 48%(26명)가 상대방을 실제 사람으로 착각했습니다. Phoenix 4.5 등을 활용했던 기존 시스템의 통과율이 2.4%(41명 중 1명)에 불과했던 점을 감안하면 비약적인 상승입니다.

턴 방식을 버리고 상대의 반응을 읽다

기존 대화형 시스템은 사용자가 말을 완전히 끝낼 때까지 기다린 뒤 텍스트를 처리하고 답변을 합성하는 턴 방식을 취해 대화가 뚝뚝 끊겼습니다. 반면 Griffin은 1초 미만의 간격으로 대화 상태를 지속적으로 평가합니다.

덕분에 사용자가 이야기하는 도중에 자연스럽게 고개를 끄덕이며 호응하고, 생각을 정리하느라 잠시 말을 멈춘 것을 대화 종료로 오해하지 않습니다. 사용자가 중간에 말을 끊고 끼어들더라도 문맥을 놓치지 않고 즉각 반응을 조절합니다.

시각 정보 파악도 가능합니다. 상대방의 시선과 표정은 물론 사용자가 화면에 띄운 자료(예컨대 공작새 이미지)를 실시간으로 확인하고 이를 대화 내용에 자연스럽게 반영합니다. 단 한 장의 사진에서 얼굴과 손동작뿐 아니라 의자의 흔들림과 배경 그림자까지 포함한 전체 장면을 프레임 단위로 실시간 생성하며, 10초 분량의 음성만으로 목소리를 복제해 10밀리초 단위의 초저지연 오디오 스트리밍을 구현했습니다.

엔비디아의 자연 대화 비디오 벤치마크인 VideoFDB의 생성 트랙에서 Griffin-Lite는 5점 만점에 3.83점을 기록해 인간 기준점인 3.92점에 바짝 다가섰습니다. 차점자인 Gemini 2.5 및 Anam 조합(2.80점)보다 1점 이상 높은 점수입니다. 다만 대화 단서를 감지하는 인식 트랙에서는 3.73점을 기록해 인간(4.20점)과 여전히 격차가 있었습니다.

현재 Griffin-Lite는 신뢰할 수 있는 소수의 테스터에게 연구 프리뷰 형태로만 제공되고 있으며, 안전 기능과 AI 표시 기능을 다듬은 뒤 정식 출시될 예정입니다.

왜 중요한가

Tavus가 껍데기뿐인 립싱크 아바타를 넘어 비언어적 상호작용과 타이밍이라는 본질적인 대화 역학에 집중한 점은 매우 영리한 접근으로 보입니다. 화면 속 학생이 문제를 풀다 막힌 표정을 짓거나 화면을 가리킬 때 AI 튜터가 적절한 타이밍에 개입하고 반응해 준다면 원격 교육의 질은 완전히 달라질 수 있습니다. 홀로 지내는 노인들에게도 차가운 텍스트 챗봇보다 훨씬 친근한 말벗이 될 잠재력이 있습니다.

하지만 반대로 악용 위험 역시 극대화됩니다. 딥페이크 비디오 통화로 CFO를 사칭해 홍콩 금융사 직원에게서 2,500만 달러를 편취한 사건처럼, 실시간으로 상대방의 질문에 반응하고 끼어들기까지 가능한 모델이 보이스피싱이나 금융 사기에 쓰인다면 눈으로 보고도 속아 넘어갈 수밖에 없습니다.

더불어 48%라는 수치는 상대방이 사람일 것이라 기대한 상태에서 진행된 1분 안팎의 짧은 대화에서 나온 결과라는 한계가 있습니다. 긴 대화에서도 논리적 결함 없이 인간다움을 유지할 수 있을지는 더 지켜봐야 합니다. Tavus가 출시를 서두르지 않고 폐쇄 테스트를 진행하는 것도 이러한 사칭과 안전 문제를 의식했기 때문으로 풀이됩니다.