Phonely, Groq 손잡고 음성 AI 응답 지연 70% 단축… 정확도 99.2% 달성

고객센터에 전화를 걸었을 때 몇 초간 어색한 정적이 흐르는 순간, 누구나 상대방이 상담원이 아니라 기계라는 사실을 바로 알아챕니다.

AI 음성 지원 스타트업 포널리(Phonely)와 추론 최적화 플랫폼 마이타이(Maitai), AI 반도체 기업 그로크(Groq)가 손을 잡고 이 어색한 불쾌한 골짜기를 해결했습니다.

세 회사의 협력으로 응답 지연 시간은 70% 이상 줄어들었고, 대화 정확도는 81.5%에서 99.2%로 대폭 상승했습니다. 이는 GPT-4o의 벤치마크인 94.7%를 웃도는 수치입니다. 실제로 전화를 건 사람 중 70% 이상이 상대가 AI라는 사실을 눈치채지 못했습니다.

4초의 침묵을 지워낸 하드웨어와 오케스트레이션

포널리의 설립자 윌 보드웨스(Will Bodewes)는 오픈AI나 클로드 같은 기존 대형 모델의 가장 큰 문제로 지연 시간의 심한 변동성을 꼽았습니다. 대략 10번 중 한 번꼴로 응답이 4초 이상 지연되는데, 실시간 통화에서 4초는 영원처럼 긴 시간입니다.

해결의 열쇠는 그로크의 지연 시간 없는 LoRA 핫스왑 기술이었습니다. 미세조정 어댑터인 LoRA를 온칩 초고속 SRAM에 기본 모델 가중치와 함께 올려두고 성능 저하 없이 즉시 전환하는 방식입니다.

여기에 마이타이의 프록시 오케스트레이션 계층이 맞물렸습니다. 마이타이는 실시간 대화 흐름 중간에서 모델이 취약한 지점을 감지해 묶어내고, 성능 저하 없이 지속적으로 미세조정을 적용합니다.

이 덕분에 첫 토큰 생성 시간(TTFT)은 90번째 백분위수 기준으로 661밀리초에서 176밀리초로 73.4% 줄었고, 전체 응답 시간도 339밀리초 수준으로 떨어졌습니다.

왜 중요한가

콜센터 업계에 미치는 파급력은 이미 숫자로 증명되고 있습니다. 포널리의 한 고객사는 이번 달에만 상담원 350명을 이 AI 시스템으로 전격 교체하고 있습니다.

고객 지원을 운영하는 기업이라면 이제 본격적으로 도입을 검토할 단계에 도달했습니다. 음성 AI 도입을 가로막던 가장 큰 장벽은 대화의 부정확함보다도 기계 특유의 굼뜬 반응이었는데, 200밀리초 이하의 반응 속도가 이 문제를 사실상 털어냈기 때문입니다.

업계 전체로 보면 거대 범용 모델 하나에 의존하기보다, 특화 칩셋 위에서 정밀하게 조율된 소형 어댑터 모델들을 즉각 교체하며 쓰는 아키텍처가 실시간 음성 영역에서 훨씬 효과적임을 입증했습니다.

다만 사람이 눈치채지 못할 정도로 정교해진 만큼 기업이 AI 상담원 사용 여부를 투명하게 고지해야 하는 법적·윤리적 부담도 함께 커질 것으로 보입니다. 아울러 남은 0.8%의 예외적인 실패 사례가 발생했을 때 고객 불만을 어떻게 수습할지에 대한 안전장치 마련도 필수적입니다.