아남, 70ms 반응속도의 대화형 아바타 모델 '카라-3' 공개

만약 대화할 수 있는 AI 아바타를 고를 때, 영화처럼 완벽하게 생겼지만 대답할 때마다 1초씩 뜸을 들이는 아바타와, 외모는 살짝 단순해도 사람처럼 즉각 말을 받아치는 아바타 중 하나를 골라야 한다면 무엇을 택하시겠습니까?

대다수 기업이 모공과 머리카락 묘사에 매달려 온 것과 달리, 실제 대화 경험에서는 전혀 다른 요소가 승부를 갈랐습니다. 2월 17일, 인터랙티브 AI 아바타 전문 기업 Anam은 실시간 대화형 얼굴 생성 모델인 Cara-3를 공개했습니다.

출시와 함께 진행된 외부 조사기관 Mabyduck의 블라인드 테스트에서 수백 명의 참가자가 Anam, HeyGen, Tavus, D-ID의 아바타와 스무고개 게임을 진행했습니다. 그 결과 Cara-3는 가장 근접한 경쟁사보다 평균 24% 높은 선호도를 기록했습니다.

더 흥미로운 점은 지표 간의 상관관계입니다. 대화 만족도에 미친 영향력에서 응답 반응 속도는 상관계수 0.697을 기록한 반면, 시각적 사실감은 0.473에 그쳤습니다. 화면 속 얼굴과 직접 말을 주고받을 때는 화려한 그래픽보다 빠른 반응 속도가 이용자의 마음을 훨씬 더 크게 움직인다는 뜻입니다.

표정 움직임과 외형 렌더링의 영리한 분리

사람 간의 대화 반응 시간은 보통 500밀리초 이내입니다. 음성 인식부터 거대언어모델 연산, 음성 합성, 비디오 렌더링까지 거쳐야 하는 환경에서 시각 모델에 주어지는 시간은 수십 밀리초에 불과합니다.

Cara-3는 이 병목을 해결하기 위해 파이프라인을 두 단계로 쪼갰습니다. 첫 번째는 음성을 모션으로 바꾸는 단계입니다. 개량된 플로우 매칭 알고리즘을 사용해 입력된 음성에서 머리 각도, 시선 처리, 입술 모양, 미세 표정 데이터만 먼저 추출합니다.

두 번째는 이 모션 데이터를 기준이 되는 단 한 장의 인물 사진에 입혀 비디오 프레임을 렌더링하는 단계입니다. 동작과 외형 생성을 분리한 덕분에, 모델을 새로 학습시키지 않고도 사진 한 장만 있으면 즉석에서 맞춤형 아바타를 생성할 수 있습니다.

이 시스템은 엔비디아 H200 GPU 환경에서 첫 프레임 생성 시간 70밀리초 수준을 달성했습니다. 모델의 파라미터 효율성이 높아 그래픽카드 한 장에서 여러 세션을 동시에 띄울 수 있어 서비스 운영 비용을 크게 낮췄습니다.

왜 중요한가

우리는 이번 발표가 디지털 휴먼 산업의 핵심 경쟁 축을 화질에서 실시간 상호작용으로 옮겨놓는 분기점이 될 것으로 봅니다. 지금까지의 시장은 미리 작성된 원고를 읽는 일방향 영상 합성에 치우쳐 있어, 지연 시간의 치명성을 간과해 왔습니다.

하지만 대화형 환경에서는 아무리 정교한 얼굴이라도 몇 초씩 멈칫거리면 불쾌한 골짜기를 유발합니다. 반대로 반응이 사람처럼 매끄럽게 오가면 약간의 그래픽 한계는 뇌가 자연스럽게 메워냅니다. Cara-3가 취한 가벼운 렌더링과 극단적인 저지연 전략은 실시간 서비스의 본질을 정확히 짚었습니다.

기업 고객이나 개발자 입장에서도 실용성이 높습니다. 복잡한 3D 작업 없이 사진 한 장으로 고반응 아바타를 띄울 수 있고, 단일 GPU로 다중 접속을 감당할 수 있어 고객센터, 어학 교육, 영업 훈련 등의 적용 장벽이 낮아졌습니다. 실제 고객사 지표에서도 음성 전용 대비 아바타 선택률 70%, 전환율 24% 상승, 잔존율 44% 증가라는 결과가 보고되기도 했습니다.

다만 한계도 뚜렷합니다. 장시간 대화 시 눈동자 흔들림이나 반복적인 제스처, 맥락에 맞춘 능동적 맞장구 등은 여전히 실제 사람과 격차가 큽니다. 즉각적인 반응 속도를 확보한 만큼, 이제는 긴 대화 속에서 자연스러운 몰입감을 얼마나 오래 유지할 수 있느냐가 다음 과제가 될 것으로 보입니다.