Cartesia, 음성 생성 Sonic-3.5와 전사 모델 Ink-2 공개…스트리밍 1위 등극

AI 음성 상담원과 통화할 때 가장 큰 불쾌감을 주는 것은 답변 내용보다 어색한 지연 시간입니다. 말을 끝냈는데도 한참 동안 정적이 흐르거나, 잠깐 숨을 고르는 사이에 성급하게 말을 끊고 들어오는 경우가 대표적입니다.

Cartesia는 2026년 6월 15일 음성 합성 모델 Sonic-3.5와 실시간 전사 모델 Ink-2를 동시에 선보였습니다. 회사 측에 따르면 이 두 모델은 서드파티 벤치마크인 아티피셜 아날리시스의 스트리밍 리더보드에서 자연스러움과 전사 정확도 부문 동시 1위를 차지했습니다.

창업자 카란 고엘은 실시간 음성 듣기와 말하기 양쪽 스트리밍 영역에서 동시에 1위 모델을 보유한 공급업체는 현재 Cartesia가 유일하다고 강조했습니다.

응답 지연 300ms 미만, 문맥 기반 발화 감지

대다수 음성 모델이 표준 트랜스포머 아키텍처에 의존하는 반면, Cartesia는 상태 공간 모델 구조를 채택했습니다. 이 구조적 선택 덕분에 지연 시간을 극적으로 낮출 수 있었습니다.

음성 생성을 담당하는 Sonic-3.5의 첫 번째 토큰 생성 시간 중앙값은 300ms 미만입니다. 대화가 버퍼링에 걸려 멈춰 있다는 인상을 주지 않을 만큼 빠릅니다. 이전 Sonic-3 버전에 비해 억양과 감정 표현의 폭이 넓어졌으며, 영문 및 숫자 조합 코드나 ID를 읽는 정확도도 개선되었습니다. 공식적으로는 40개 이상의 언어를 지원하지만, 영어 중심으로 순차 확장 중이어서 다국어 적용 시 사전 테스트가 권장됩니다.

전사 모델인 Ink-2는 소음이 심한 현실 환경에 맞춰 조정된 실시간 스트리밍 모델입니다. 가장 큰 특징은 발화 턴 감지와 의미 기반 엔드포인팅 기능을 모델 내부에 탑재했다는 점입니다. 단순한 무음 시간 측정 대신 문맥상 발화가 완전히 끝났는지를 판단합니다.

두 모델은 WebSocket 및 REST API와 공개 플레이그라운드를 통해 정식 제공되며, Python과 TypeScript SDK, Pipecat 및 LiveKit 등 음성 에이전트 프레임워크와의 연동도 지원합니다.

왜 중요한가

Cartesia의 이번 출시는 실시간 음성 에이전트의 핵심 병목을 정확히 겨냥했다고 판단합니다.

음성 대화는 듣고, 추론하고, 말하는 루프의 반복입니다. 기존에는 전사 업체, 대형 언어 모델, 음성 합성 업체를 각각 따로 연결해 사용했기 때문에 네트워크 구간마다 지연이 누적되고 대화가 겹치거나 끊기는 현상이 잦았습니다.

듣기와 말하기 양쪽을 단일 업체가 통제하게 되면, 사용자가 말을 멈춘 신호를 즉각 음성 출력으로 이어붙이는 정밀한 튜닝이 가능해집니다. 고객 지원 전화 봇이나 실시간 언어 튜터 등 사람과 비슷한 호흡을 유지해야 하는 서비스 개발팀에게는 매우 매력적인 대안입니다.

음성 AI 시장의 영역 구분도 한층 뚜렷해졌습니다. 오디오북 낭독이나 감정이 풍부한 캐릭터 연기에는 여전히 ElevenLabs가 적합하며, 온프레미스 보안이나 비용 절감이 최우선이라면 NVIDIA Nemotron 3.5와 Higgs Audio v3 같은 오픈 웨이트 모델을 조합해 직접 지연 시간을 튜닝하는 편이 낫습니다.

Cartesia는 초저지연 실시간 대화라는 단 하나의 목표에 집중하고 있습니다. 가장 까다로운 오케스트레이션 과정을 손쉽게 해결해 줌으로써 경쟁 오디오 벤더들에게도 큰 압박으로 작용할 것으로 보입니다.