알리바바, 실시간 통역 AI 'Qwen3.8-LiveTranslate' 공개…지연시간 2.3초

해외 파트너와의 화상 회의에서 어색한 기계음 통역을 몇 초씩 기다려본 사람이라면, 끊기는 대화 흐름이 얼마나 답답한지 잘 알 것입니다.

알리바바가 차세대 실시간 동시통역 모델 'Qwen3.8-LiveTranslate'를 공개했습니다. 글자당 평균 지연시간을 기존 2.8초에서 2.3초로 단축했고, 60개 언어를 지원하며 발화자의 원래 목소리를 그대로 복제해 번역해 줍니다.

현재 API로 배포되었으며, 웹사이트에서 직접 사용해 볼 수 있는 온라인 데모도 열려 있습니다.

오디오-텍스트 단일 스트림으로 재설계…내 목소리로 말하는 통역

기존의 통역 AI는 음성 인식, 텍스트 번역, 음성 합성 단계를 각각 따로 거치면서 단계마다 지연시간이 누적되는 구조적 한계가 있었습니다.

Qwen3.8-LiveTranslate는 오디오와 텍스트가 얽힌 단일 스트림 구조로 아키텍처를 전면 개편했습니다. 이미 처리한 오디오와 생성된 번역문을 캐시로 재사용해 불필요한 연산을 크게 줄였습니다.

가장 눈에 띄는 기능은 실시간 음성 복제입니다. 화자가 말을 하면 그 사람의 고유한 음색을 그대로 학습해, 마치 본인이 외국어를 유창하게 구사하는 것처럼 음성을 출력합니다.

여러 사람이 번갈아 말하는 상황에서도 화자를 실시간으로 분리해 누가 무슨 말을 했는지 구분하고, 각자의 목소리 톤에 맞춰 번역 음성을 내보냅니다.

현재 60개 언어 입력을 지원하며, 음성 출력은 29개 언어가 가능합니다. 여기에 비디오나 이미지까지 추가 정보로 입력받을 수 있어, 문맥상 모호한 표현을 시각 정보를 통해 자연스럽게 풀어냅니다.

원문·번역문 동시 스크린 출력으로 오역 불안 해소

AI 통역을 사용할 때 가장 꺼려지는 점은 내용이 누락되거나 왜곡되어도 바로 알아채기 어렵다는 점입니다.

알리바바는 원문과 번역문을 같은 프레임에서 동시에 보여주는 기능을 더했습니다. 양쪽 언어 자막이 나란히 스크롤되면서 언제든 대조해 확인할 수 있어 비즈니스 미팅에서의 불안감을 덜어줍니다.

정확도, 유창성, 간결성 평가에서 Qwen3.8-LiveTranslate는 Seed Live Interpret, GPT Real Time, Gemini Live 등 기존 주요 모델들과 비교해 더 높은 승률을 기록했습니다. 전반적인 번역 품질과 지연시간, 오류율 지표에서도 가장 우수한 수치를 나타냈습니다.

왜 중요한가

지연시간을 2.3초 수준으로 묶어둔 것은 실무 환경에서 결정적인 전환점입니다. 전문 동시통역사의 호흡에는 미치지 못하더라도, 해외 전시회나 크로스보더 커머스 협상처럼 '대화가 끊기지만 않으면 되는' 현장에서는 AI가 충분히 통역 역할을 대체할 수 있는 구간에 들어왔습니다.

단일 스트림 아키텍처 위에 화자 목소리 복제를 얹은 방식은 매우 영리해 보입니다. 기계음을 거치면서 느껴지던 이질감을 없애고 사람이 직접 대화하는 느낌을 살려주기 때문입니다.

스타트업이나 1인 개발자 입장에서는 비싼 통역 인력을 쓰지 않고도 합리적인 API 비용으로 강력한 다국어 솔루션을 구축할 수 있는 기회입니다.

다만 주변 소음이 심하거나 여러 명이 동시에 말을 섞는 복잡한 실제 환경에서 화자 분리 오류를 얼마나 안정적으로 억제할 수 있을지가 실제 도입의 성패를 가를 것으로 보입니다.