텐센트, 실시간 전이중 음성 대화 모델 'Covo-Audio' 오픈소스 공개

텐센트가 7B 규모의 엔드투엔드 오디오 언어 모델 'Covo-Audio-Chat'을 오픈소스로 공개했습니다. 음성인식, 텍스트 모델, 음성합성을 따로 이어 붙인 기존 파이프라인 대신, 단일 통합 아키텍처에서 연속 오디오를 직접 입력받고 출력합니다.

현재 GitHub와 Hugging Face에 코드와 사전학습 가중치가 모두 올라와 있으며, 자연스러운 실시간 끼어들기를 지원하는 저지연 전이중 음성 상호작용이 핵심입니다.

어떤 기능이 있나

대부분의 음성 비서는 사용자가 말을 완전히 끝낼 때까지 기다렸다가 대답하는 무전기 방식에 가깝습니다.

Covo-Audio-Chat은 모델이 말을 하는 도중에도 사용자의 입력을 실시간으로 듣고 판단합니다. 대화 도중 말을 끊거나 끼어들어도 지연 없이 반응하는 전이중 대화를 구현했습니다.

기술적으로는 연속 음향 특징, 이산 음성 토큰, 자연어 텍스트를 하나의 시퀀스 안에서 교차 처리하는 계층적 3중 모달 방식을 채택했습니다. 덕분에 음성의 운율과 뉘앙스를 살리면서도 텍스트 모델 특유의 언어 이해력을 잃지 않습니다.

또 다른 특징은 화자 음색과 대화 지능의 분리입니다. 다중 화자 학습을 통해 목소리 특징이 대화 성능에 간섭하지 않도록 설계해, 고품질 음색을 유지하면서도 안정적인 대화 성능을 끌어냅니다.

텐센트 기술 보고서에 따르면 Covo-Audio는 음성 대화, 음성 이해, 전이중 인터랙션 등 주요 평가에서 동급 7B 모델 가운데 최고 수준이거나 매우 경쟁력 있는 성능을 기록했습니다.

실행 방법

실행 환경은 Python 3.11 이상이 권장됩니다.

GitHub에서 텐센트 Covo-Audio 저장소를 복제한 뒤 요구 패키지를 설치하고, Hugging Face의 tencent/Covo-Audio-Chat 저장소에서 가중치를 로컬 디렉터리로 내려받으면 됩니다.

기본 제공되는 example.sh 스크립트를 실행하면 손쉽게 추론을 돌려볼 수 있습니다. 설정 파일에서 모델 경로를 맞추고 example.py 안의 오디오 입력 경로를 본인 파일로 바꾸면 즉시 작동합니다.

다만 공식 면책조항에 명시된 대로 현재 모델은 연구 및 실험 목적으로 제공됩니다. 실제 서비스 적용 전에는 잘못된 발화나 환각 현상에 대한 검증이 필요합니다.

왜 중요한가

엔드투엔드 전이중 모델은 음성 에이전트의 확실한 지향점이지만, 지금까지는 빅테크 내부 기술로 묶여 있는 경우가 많았습니다. 텐센트가 7B 크기의 모델과 코드를 모두 오픈소스로 푼 것은 음성 하드웨어나 콜봇을 개발하는 이들에게 반가운 소식입니다.

7B 크기는 고가의 대규모 인프라 없이도 자체 테스트가 가능한 실용적인 규격입니다. 다만 전이중 모델 특성상 주변 소음 환경에서의 끼어들기 오작동 방지가 관건인 만큼, 실제 마이크 입력 환경에서 충분한 검증을 거치는 것을 권합니다.