Edge0, 'Audio8-ASR-Infinite' 오픈소스 공개: 메모리 고정으로 24시간 실시간 전사 지원

Edge0가 공개한 Audio8-ASR-Infinite는 중·영 이중 언어 환경에서 24시간 실시간 전사를 지원하는 오픈소스 스트리밍 음성인식 모델입니다.

전사 지연 시간을 240~560ms 수준으로 유지하면서 장시간 구동 시에도 메모리 누수나 시간 동기화 오차 없이 일정한 지연 속도를 보장합니다.

메모리와 속도를 유지하는 원리

일반적인 스트리밍 ASR 모델은 음성이 길어질수록 KV 캐시가 누적되어 GPU 메모리가 고갈되거나 처리 속도가 느려지는 한계가 있습니다. Audio8은 30초 윈도우 기반의 롤링 KV 캐시와 정밀한 RoPE 리베이스 기법을 적용해 24시간 내내 자원 점유율을 일정하게 묶어둡니다.

오디오 클록은 80, 120, 160ms 중 선택할 수 있으며, 80ms 기준 초당 12.5회의 빠른 디코딩 결정을 수행합니다. 사용 환경에 맞춰 응답성과 컴퓨팅 비용 사이의 균형을 쉽게 맞출 수 있습니다.

또한 단순 음량이 아닌 문맥을 읽는 시맨틱 VAD를 탑재했습니다. 기존 음향 기반 감지기가 놓치기 쉬운 단순 말문 막힘, 말더듬, 실제 발화 종료를 정확히 구분해 냅니다.

아키텍처 및 벤치마크 성능

모델 뼈대는 Voxtral 실시간 오디오 아키텍처와 DSM 방식 스트리밍을 결합했습니다. 음향 처리는 Voxtral Realtime 4B, 텍스트 디코더는 Qwen2.5-3B-Instruct를 채택했습니다.

bfloat16 포맷 기준 가중치 크기는 약 8.17GB 수준이며 전용 시맨틱 VAD 헤드가 함께 포함됩니다.

80ms 클록 및 480ms 지연 환경의 벤치마크에서 중국어 데이터셋인 aishell1의 음절오류율(CER)은 1.750%, aishell4는 2.893%를 기록해 Voxtral 및 Nemotron 대비 뛰어난 성능을 보였습니다. 영어 Librispeech test.clean에서는 단어오류율(WER) 3.042%를 기록하며 전체 평가 평균 오류율 3.623%를 달성했습니다.

실행 및 배포 방법

전체 가중치는 Hugging Face에 공개되어 있으며 Transformers 라이브러리에서 trust_remote_code 옵션을 켜면 손쉽게 로드할 수 있습니다.

연속 가동 환경을 위해 최적화된 vLLM 빌드와 Docker Compose 환경도 제공됩니다. 컨테이너를 올리면 웹 클라이언트 데모와 포트 18191 기반의 WebSocket 스트리밍 엔드포인트가 바로 활성화됩니다.

현재 공개된 모델은 프리뷰 단계의 ASR 베이스 버전이며, 향후 정식 릴리스에서는 동일한 음향 프레임 위에서 실시간 의미 인식 기능이 추가될 예정입니다.

왜 중요한가

라이브 방송 실시간 자막이나 지연 시간에 민감한 음성 대화형 AI 에이전트를 개발하는 엔지니어에게 매우 매력적인 도구입니다. 장시간 오디오를 임의로 쪼개고 이어붙이느라 발생하는 누락 문제를 아키텍처 차원에서 말끔히 해결했습니다.

Voxtral 오디오 타워에 한국어와 중국어 등 다국어 처리력이 검증된 Qwen2.5 디코더를 붙인 판단은 매우 실용적입니다. 8GB 안팎의 모델 크기를 감당할 수 있는 단일 GPU 환경이라면 바로 프로덕션 테스트에 투입해 볼 만한 가치가 있습니다.