OpenAI, 실시간 음성 모델 3종 출시: 대화 중 추론과 도구 호출 지원

기존 AI 음성 비서에게 조금만 복잡한 명령을 내리면 이어폰 너머로 어색한 침묵이 흐르곤 했습니다. 사용자는 모델이 연산 중인지 시스템이 멈춘 것인지 알 방법이 없었습니다.

OpenAI가 5월 7일 API를 통해 차세대 실시간 오디오 모델군을 공개했습니다. 중심이 되는 모델은 GPT-5 수준의 추론 성능을 갖춘 GPT-Realtime-2입니다. 여기에 다국어 동시통역을 지원하는 GPT-Realtime-Translate와 초저지연 스트리밍 전사 모델인 GPT-Realtime-Whisper가 함께 출시되었습니다.

생각하면서 말하는 음성 비서

GPT-Realtime-2의 가장 큰 변화는 턴제 대화의 경직성을 깨고 자연스러운 실시간 반응성을 확보했다는 점입니다.

이 모델은 도구 호출 전 짧은 연결 멘트를 자연스럽게 건넵니다. 백엔드에서 캘린더나 데이터베이스를 조회할 때 "잠시만 확인해 보겠습니다"처럼 작업 상태를 음성으로 안내하며, 여러 도구를 병렬로 실행하는 동안에도 대화 흐름을 끊지 않습니다.

컨텍스트 윈도는 기존 32K에서 128K로 대폭 늘어나 복잡한 워크플로와 장시간 상담을 매끄럽게 처리할 수 있습니다. 개발자는 추론 수준을 5단계로 세밀하게 조절할 수 있으며 기본값은 지연 시간을 줄인 low로 설정되어 있습니다.

벤치마크 지표에서도 뚜렷한 성능 향상이 확인됩니다. Big Bench Audio 평가에서 GPT-Realtime-2 고추론 모드는 이전 세대 대비 15.2% 오른 96.6%를 기록했습니다. 지시 이행 능력 역시 13.8% 향상되어 전문 용어나 예외 상황 대처가 눈에 띄게 안정되었습니다.

실시간 통역과 전사로 완성한 오디오 툴킷

대화형 모델 외에도 실제 업무 환경에 바로 적용할 수 있는 두 가지 전문 모델이 보강되었습니다.

GPT-Realtime-Translate는 70개 이상의 입력 언어를 13개 출력 언어로 실시간 음성 번역합니다. 화자의 발화 속도를 유지하며 통역을 제공해 도이치텔레콤이 다국어 고객 지원에 도입 중이며, 비메오는 교육 영상 실시간 더빙에 이를 적용하고 있습니다.

GPT-Realtime-Whisper는 회의 자막 생성이나 대화 기록을 위한 스트리밍 음성 텍스트 변환 모델입니다. 가격 책정의 경우 GPT-Realtime-2는 토큰 기반(오디오 입력 100만 토큰당 32달러, 캐시 적중 시 0.40달러, 출력 64달러)이며, 번역과 전사는 각각 분당 0.034달러와 0.017달러의 시간 기반 요금이 적용됩니다.

왜 중요한가

개발자와 기업 입장에서는 별도의 파이프라인 조립 없이도 완성도 높은 음성 에이전트를 구축할 수 있게 되었습니다.

지금까지 음성 서비스를 만들려면 음성 인식, 언어 모델 추론, 도구 오케스트레이션, 음성 합성을 억지로 이어 붙여야 했고, 그 과정에서 수초에 달하는 지연이 발생했습니다. 질로우가 복잡한 조건의 부동산 투어를 예약하고 프라이스라인이 여행 변경을 음성으로 처리하는 흐름은 이제 본격적인 상용화 단계로 들어섰습니다.

우리는 OpenAI가 감정 표현이나 목소리 연기보다 도구 호출 투명성과 추론 능력에 집중한 전략이 매우 영리하다고 봅니다. 백엔드 작업을 음성으로 설명하며 대화를 이어가는 기능은 사용자의 불필요한 대기 피로를 크게 줄여줍니다.

다만 대규모 서비스 운영 관점에서는 비용 부담이 적지 않습니다. 오디오 토큰 단가는 텍스트 대비 여전히 높기 때문에 동시 접속이 많은 고객센터에서는 운영비 계산이 필수적입니다. 아울러 실시간 음성 통화 환경에서의 사칭이나 스팸 오용 방지 장치가 실제 필드에서 얼마나 견고하게 작동할지도 지켜볼 부분입니다.