넷이즈 유다오, 실시간 음성인식 오픈소스 모델 'R2T2' 공개

Confucius4-R2T2(이하 R2T2)는 넷이즈 유다오가 오픈소스로 공개한 실시간 스트리밍 음성인식(ASR) 모델입니다. 마이크로 입력되는 음성을 거의 지연 없이 텍스트로 바꿔 줍니다. 실시간 자막 프로그램에서 단어가 계속 수정되면서 화면이 깜빡거리는 현상에 지친 개발자라면 반가울 만한 도구입니다.

어떤 기능을 제공하는가

R2T2의 핵심 강점은 한 번 출력한 텍스트를 절대로 번복하지 않는 '추가 전용(append-only)' 방식을 채택했다는 점입니다. 기존의 가사 스트리밍 모델들은 일단 임의로 단어를 띄웠다가 뒤이어 들어오는 음성을 듣고 앞 단어를 수정하는 경우가 많아, 자막이 깜빡이거나 후속 LLM 에이전트의 문맥이 꼬이기 일쑤였습니다.

R2T2는 단어가 한 번 확정되면 그대로 유지됩니다. 평균 지연 시간은 200~600밀리초에 불과하며, 디코딩 청크 크기는 80밀리초부터 2초까지 자유롭게 설정할 수 있습니다.

또한 스트리밍 모드로 전환하더라도 전체 오디오를 한 번에 처리하는 오프라인 인식 대비 정확도 손실이 거의 없습니다.

작동 원리와 벤치마크 결과

이 모델은 Qwen3-ASR을 기반으로 제작되었습니다. 넷이즈 유다오는 안정적 접두사 데이터와 강제 타임 얼라인먼트를 도입하고, '최장 안정 접두사(LSP)' 학습 패러다임을 적용했습니다.

쉽게 말해, 모델이 스스로 '지금 확보한 음성만으로 확정 단어를 내보내도 안전한지, 아니면 다음 문맥을 조금 더 기다려야 하는지'를 실시간으로 판단합니다. 그 덕분에 기출력 텍스트를 고치지 않으면서도 다음 단어 예측을 위한 문맥 품질을 높게 유지합니다.

영어 WER 및 중국어 CER 벤치마크에서 R2T2는 WhisperRT, Nemotron, Voxtral 등 주요 오픈소스 모델 대비 가장 낮은 오류율과 최적의 지연 시간을 기록했습니다. 상용 서비스인 GPT-Live-Transcribe와 비교해도 밀리지 않는 완성도를 보여줍니다. 핫워드 프롬프트 지정도 기본 지원합니다.

실행 방법 및 요구 사양

실행 문턱도 낮습니다. 모델 크기가 약 4GB 수준이라 일반 소비자용 GPU에서도 무리 없이 구동됩니다.

고처리량 추론을 지원하는 vLLM 백엔드와 Hugging Face transformers 백엔드를 모두 지원합니다. Qwen3-ASR 기반 Docker 이미지를 활용하면 곧바로 컨테이너를 띄울 수 있고, uv나 Conda를 이용해 Python 3.12 환경에 직접 설치할 수도 있습니다. 다중 접속을 지원하는 WebSocket 서버 및 클라이언트 스크립트도 깃허브 저장소에 함께 포함되어 있습니다.

왜 중요한가

실시간 자막 중계나 회의록 작성, 또는 음성 인터페이스를 갖춘 AI 에이전트를 개발하고 있다면 R2T2는 지금 당장 테스트해 볼 가치가 충분합니다. 값비싼 상용 API를 쓰지 않고도 자체 하드웨어에서 화면 깜빡임 없는 매끄러운 텍스트 스트림을 뽑아낼 수 있습니다.

출력 텍스트의 롤백을 원천 차단해 하류 파이프라인의 복잡도를 크게 낮춘 점은 매우 영리한 선택으로 보입니다. 다만 공식 기술 보고서가 아직 완전히 공개되지 않았으므로, 다양한 소음 환경과 특수 언어 환경에서의 실전 성능은 직접 검증해 볼 필요가 있습니다.