인셉션 랩스, 응답 지연 320ms의 음성 에이전트용 '머큐리 보이스' 출시

AI 음성 상담원과 통화할 때 말을 끝내고 나서 몇 초간 흐르는 어색한 정적을 겪어본 적이 있을 것입니다. 음성 대화가 자연스럽게 느껴지려면 사용자의 말이 끝난 뒤 500밀리초 이내에 첫 단어가 튀어나와야 합니다.

인셉션 랩스(Inception Labs)가 실시간 음성 에이전트에 특화된 확산 대형언어모델(diffusion LLM)인 '머큐리 보이스(Mercury Voice)'를 기업 고객을 대상으로 정식 출시했습니다. 2주 전 머큐리 2.5와 함께 프리뷰로 공개된 지 보름 만입니다.

응답 지연 320ms, 기존 대비 5.9배 단축

머큐리 보이스는 실제 고객 서비스 프롬프트 테스트에서 첫 응답 토큰 생성 시간(TTFAT) 중앙값 320밀리초를 기록했습니다. 이는 추론 기능이 없는 GPT-6 루나(Luna)보다 5.9배 빠른 수치입니다.

음성 대화의 끊김을 좌우하는 95퍼센타일(p95) 지연 시간 역시 750밀리초 수준에 그쳐, 꼬리 지연 시간이 4초를 훌쩍 넘는 기존 모델들과 확연한 차이를 보였습니다. 128K 컨텍스트와 최대 50K 출력 토큰을 지원하며, 추론 강도는 저·중·고 3단계로 조절할 수 있습니다.

속도를 높이면서도 모델의 지능은 유지했습니다. τ³-bench(통신, 유통, 항공)와 IFBench, BFCL v4 등을 포함한 복합 벤치마크에서 젬마 4 31B, GPT-6 루나, GLM-5.3-플래시, 제미나 3.5 플래시-라이트, 큐원 3.5-397B를 모두 앞섰습니다.

현업 도입 사례도 속속 나오고 있습니다. 오디비 AI(Audivi AI)는 드라이브스루 주문 자동화에 이를 투입해 주문 변경과 추가 판매를 처리하고 있으며, 금융 상담 에이전트를 만드는 알투르(Altur)는 언어모델이 더 이상 전체 파이프라인의 병목이 아니라고 밝혔습니다. 오픈콜(OpenCall)의 경우 실제 환경에서 중앙값 지연 시간이 약 170밀리초까지 줄어들었다고 설명했습니다.

이 모델은 오픈AI API 호환 엔드포인트를 지원해 라이브킷(LiveKit), 파이프캣(Pipecat), 바피(Vapi), 리텔(Retell) 등에 손쉽게 연동됩니다. 정상가는 입력 100만 토큰당 0.40달러, 출력 1.50달러이며, 출시 기념 50% 할인을 적용하면 입력 0.20달러, 출력 0.75달러입니다. 대화 1분당 비용은 약 0.009달러 수준으로, GPT-4.1(분당 0.045달러) 대비 약 5분의 1에 불과합니다.

왜 중요한가

실시간 음성 서비스를 만드는 개발사들은 그동안 영리하지만 느린 모델과 빠르지만 단순 작업만 처리하는 멍청한 모델 사이에서 늘 골머리를 앓아왔습니다.

머큐리 보이스는 텍스트 생성에 확산(diffusion) 아키텍처를 도입해 순차적 토큰 생성 방식이 갖는 지연 한계를 영리하게 우회했습니다. 복잡한 도구 호출과 추론 역량을 온전히 유지하면서 500밀리초라는 심리적 마지노선을 넘지 않았다는 점이 핵심입니다.

콜센터나 드라이브스루처럼 빠른 턴어라운드가 필수적인 기업이라면 지금 바로 테스트해볼 가치가 충분합니다. 분당 1센트도 안 되는 저렴한 가격 덕분에 대규모 전화 인입을 처리해야 하는 기업의 운영 비용 부담도 크게 줄어듭니다.

다만 음성 파이프라인 전체의 반응 속도는 음성인식(ASR)과 음성합성(TTS) 성능에도 크게 의존하므로 LLM 교체만으로 완벽한 대화가 완성되는 것은 아닙니다. 그럼에도 가장 무거웠던 언어모델 병목을 확 낮췄다는 점에서 차세대 음성 AI 시장의 속도 경쟁 기준을 한 단계 끌어올린 행보로 평가할 수 있습니다.