타부스, 실시간 감정·의도 인식 멀티모달 시스템 '레이븐-1' 공개

사람이 굳은 표정으로 "나 진짜 괜찮아"라고 말할 때, 상대방은 그 말이 거짓이라는 걸 단번에 알아차립니다. 하지만 지금의 대화형 AI에 이 말을 건네면, 목소리의 떨림이나 불안한 시선은 모두 지워지고 텍스트 여섯 글자만 덩그라니 남습니다.

Tavus가 공개한 실시간 멀티모달 인식 시스템 Raven-1은 바로 이 정보의 단절을 해결하기 위해 나왔습니다. 사용자가 한 말뿐만 아니라 어떤 톤으로 말했는지, 말할 때 표정이 어땠는지, 망설임과 주변 맥락까지 실시간으로 파악해 AI가 단순한 단어 대응을 넘어 진짜 의도를 읽어내도록 돕습니다.

기쁨과 슬픔으로만 사람을 분류하던 시대의 한계

기존 대화형 AI가 겉돌았던 이유는 말을 유창하게 못 해서가 아니라 사람의 눈치를 보지 못했기 때문입니다. 대부분의 시스템은 음성을 텍스트로 변환하는 과정에서 중요한 신호를 거의 다 날려버립니다. 냉소적인 어조, 한숨, 말문이 막힌 순간, 억지 미소 뒤에 숨은 시선 회피 같은 비언어적 단서들은 텍스트로 옮겨지는 순간 완전히 사라집니다.

기존 감정 인식 AI들도 사용자를 기쁨, 슬픔, 분노 같은 정적인 몇 가지 범주로 억지로 구겨 넣기 일쑤였습니다. 하지만 실제 대화에서 인간의 감정은 훨씬 복잡하고 연속적입니다. 한마디 말 속에 좌절과 희망이 뒤섞여 있을 수도 있고, 정중하게 대답하면서도 딴생각에 빠져 있을 수도 있습니다.

Tavus는 앞서 자세와 제스처를 보던 Raven-0에 이어, 이번 Raven-1을 통해 음성과 영상, 시간 흐름을 하나로 통합해 이 연속적인 감정 신호를 통째로 읽어냅니다.

대형 언어 모델이 바로 읽는 자연어 설명서

Raven-1의 가장 큰 특징은 감정을 수치나 태그로 뽑아내지 않고, 대형 언어 모델이 바로 이해할 수 있는 자연어 문장으로 풀어낸다는 점입니다.

예를 들어 사용자의 말을 듣고 보고 난 뒤, 시스템은 "화자가 약간의 조소와 지루함을 섞어 가짜 열정을 표현하고 있음"이라거나 "사용자가 화면 밖을 보며 짧게 대답하고 있어 집중이 흐트러진 상태임" 같은 구체적인 관찰 메모를 하류 LLM에 건넵니다. 복잡한 변환 과정 없이 언어 모델이 문맥을 즉각 파악해 자연스럽게 톤을 맞출 수 있게 한 것입니다.

처리 속도 역시 음성 단독 인식은 100밀리초 미만, 음성과 영상을 모두 합친 전체 파이프라인도 300밀리초 미만의 최신성을 유지합니다. 한 문장 안에서 감정이 바뀌는 흐름까지 문장 단위로 추적하며, 사용자의 웃음이나 시선 이탈 등을 콜백으로 받을 수 있는 OpenAI 호환 툴 콜링도 지원합니다. Tavus는 감정 표현이 가능한 실시간 휴먼 렌더링 모델 Phoenix-4와 함께 개발자용 API를 공개했습니다.

왜 중요한가

AI 동반자 서비스나 가상 상담원, 면접 코칭 솔루션을 개발하는 팀이라면 지금 당장 테스트해 볼 만한 가치가 있습니다. 그동안 텍스트 스크립트만 가지고 공감 능력을 쥐어짜 내느라 고생했던 개발자들에게, 사용자의 상태를 자연어로 요약해 프롬프트에 꽂아주는 방식은 구현 난이도를 크게 낮춰주면서도 체감 품질을 단번에 끌어올립니다.

산업 전반으로 보면, 대화형 AI의 기술 경쟁 축이 화려한 그래픽이나 그럴싸한 음성 합성을 넘어선 '원초적 감각 인식'으로 옮겨가고 있음을 뜻합니다. 지난 몇 년간 아바타의 입모양을 맞추고 실시간 렌더링을 고도화하는 데만 몰두해 왔지만, 정작 상대방의 표정을 볼 줄 모르면 진짜 대화가 성립하기 어렵다는 점을 Raven-1이 짚어낸 셈입니다.

저희는 Tavus가 감정을 몇 가지 라벨로 분류하려 들지 않고, LLM이 가장 잘 다루는 자연어 묘사 방식으로 설계를 튼 점이 매우 영리한 선택이라고 봅니다. 다만 상시 카메라와 마이크 스트림을 처리하는 데 따르는 비용과 프라이버시 장벽, 그리고 네트워크 지연으로 인해 300밀리초 기준선이 깨졌을 때 AI의 공감 시도가 오히려 기괴한 불쾌한 골짜기로 변할 수 있다는 점은 앞으로 검증해야 할 숙제입니다.