텐센트 혼원, 실시간 음성 복제 지원 동시통역 모델 'Hy-SimulMT' 오픈소스 공개

Hy-SimulMT는 텐센트 혼원(Tencent Hunyuan)이 오픈소스로 공개한 중국어-영어 양방향 실시간 동시통역 모델이다. 화자의 음성을 끊김 없이 입력받아 번역된 텍스트와 음성을 동시에 출력하며, 발화자의 목소리 톤을 그대로 유지하는 실시간 음성 복제 기능까지 갖췄다.

주요 기능

기존의 실시간 번역은 음성인식(ASR), 기계번역(MT), 음성합성(TTS)을 순차적으로 연결하는 방식을 주로 썼다. 이 방식은 문장이 끝날 때까지 기다려야 번역을 시작할 수 있어 대화 흐름이 뚝뚝 끊기는 한계가 있었다.

Hy-SimulMT는 연속적인 스트리밍 음성 입력을 직접 처리하도록 설계됐다. 말이 끝날 때까지 기다리지 않고 실시간으로 번역을 생성하며, 지연 시간을 줄이기 위해 먼저 통역을 시작한 뒤 뒤이어 들어오는 문맥에 맞춰 스스로 표현을 수정하는 전략을 취한다. 이는 실제 전문 통역사의 통역 방식과 유사하다.

여기에 TTS 서비스를 연동하면 원본 화자의 음색 특징을 번역된 음성에 그대로 복제할 수 있다. 여러 명이 참여하는 글로벌 회의에서도 목소리만으로 누가 발언하고 있는지 손쉽게 구분할 수 있다.

성능 및 사양

모델은 총 300억 파라미터 규모의 MoE(Mixture-of-Experts) 아키텍처로 구성되어 있으며, 추론 시 활성화되는 파라미터는 약 30억 개 수준이다. 가중치는 BF16, FP8, 양자화된 GGUF 포맷으로 제공된다. 전체 모델 용량은 약 61GB이지만, Q4 GGUF 버전은 약 20GB까지 압축된다.

장문 음성 벤치마크인 RealSI 테스트에서 Hy-SimulMT의 스트리밍 통역 지연 시간(StreamLAAL)은 약 3초를 기록해 비교 대상 오픈소스 모델과 상용 API 중 가장 짧았다. 번역 품질 지표인 GEMBA 점수 역시 비교 대상 오픈소스 모델 전체를 앞섰으며, 5개 상용 API 중 4개보다 높은 점수를 받았다.

실제 환경 검증을 위해 AI, 의료, 제조 등 10개 분야의 음성을 대상으로 CATTI(중국 번역자격시험) 1급 및 2급 자격을 갖춘 전문 통역사들과 비교 평가를 진행한 결과, 전문 인력에 준하는 품질을 유지하면서도 더 빠른 응답 속도를 보였다.

사용 및 배포 방법

이 프로젝트는 아파치 2.0 라이선스로 배포된다. 모델 가중치는 허깅페이스(Hugging Face)와 모델스코프(ModelScope)에서 내려받을 수 있으며, 저장소에는 추론 도구인 SimulInfer와 미세조정 파이프라인 SimulTrain이 모두 포함되어 있다.

로컬 배포를 위해서는 리눅스 환경, 파이썬 3.12 이상, CUDA 지원 엔비디아 GPU, 그리고 vLLM 0.31 이상 버전이 필요하다. SimulInfer 경로에서 deploy.sh 스크립트를 실행하면 웹소켓 통신을 지원하는 서비스가 실행된다. 인프라 구축 없이 바로 테스트하려면 모바일 'Hy Translate App'을 설치해 체험해볼 수도 있다.

왜 중요한가

해외 대상 라이브 커머스, 다국어 화상 회의 솔루션을 개발하는 팀에게 Hy-SimulMT는 즉시 활용 가능한 매력적인 선택지다. MoE 아키텍처 덕분에 30B 모델임에도 하드웨어 부담이 적어 20GB 수준의 GGUF 모델은 단일 GPU 환경에서도 구동할 수 있다.

기존의 분절된 파이프라인 대신 음성 복제와 스트리밍 처리를 결합해 지연을 3초대로 단축했다는 점이 실용적이다. 다만 음성 출력을 위해서는 외부 TTS 환경을 갖춰야 하며, 엄격한 책임 소지가 따르는 법률이나 의료 등 고위험 통역 분야에서는 여전히 전문 통역사의 검수가 필수적이라는 점을 염두에 둘 필요가 있다.