알리바바, 보고 듣는 실시간 동시통역 AI 'Qwen 3.5 Live Translate' 공개

해외 식당에서 음식을 주문할 때 통역 앱을 쓰다 보면 답답한 순간이 생깁니다. 'mussel(홍합)'과 'muscle(근육)'처럼 발음이 같은 단어는 귀로만 들어서는 문맥을 파악하기 어렵기 때문입니다.

알리바바는 5월 21일 실시간 멀티모달 통역 모델인 'Qwen 3.5 Live Translate'(Flash 버전)를 공개했습니다. 소리만 듣고 번역하던 기존 방식에서 벗어나, 현장 영상까지 함께 보면서 문맥을 짚어내는 방식을 택했습니다.

눈과 귀로 동시에 파악하는 번역

이 모델은 Qwen 3.5-Omni의 씽커-토커(Thinker-Talker) 구조를 기반으로 설계되었습니다. 씽커가 영상 화면과 음성 입력을 함께 받아들여 상황 맥락을 이해한 뒤 번역 텍스트를 만들고, 토커가 번역문과 원본 음성을 조합해 자연스러운 음성을 합성해 내는 방식입니다.

시각 정보가 더해지자 번역의 정확도가 눈에 띄게 올라갔습니다. 이커머스 라이브 방송에서는 진행자가 들고 있는 제품의 패키지 스펙과 수치를 화면으로 직접 읽어내 오차 없이 전달합니다. AI 안경을 쓴 데모에서는 태국 식당의 현지어 메뉴판을 보면서 대화할 때 온디바이스로 태국어-중국어 통역을 매끄럽게 처리해 냈습니다.

언어 지원 폭도 크게 넓어졌습니다. 음성 입력과 텍스트 출력 지원 언어는 기존 18개에서 60개로, 음성 출력은 10개에서 29개로 늘어나 문장 중간에 언어가 바뀌거나 다양한 억양이 섞여도 유연하게 대응합니다.

2.8초 지연 시간과 실시간 목소리 복제

동시통역에서 번역 품질 못지않게 중요한 것은 속도입니다.

알리바바는 '리더블 유닛(Readable Unit)'이라는 스트리밍 기술을 적용했습니다. 화자가 문장을 끝까지 다 말할 때까지 기다리지 않고, 의미 단위로 쪼개어 실시간 번역을 시작합니다. 덕분에 첫 토큰 지연을 3.45초 줄였고, 음성 간 평균 토큰 지연 시간을 2.8초까지 단축했습니다. FLEURS와 CoVoST2 같은 공개 벤치마크에서도 기존 주요 상용 음성 모델들을 앞서는 성능을 보였습니다.

주목할 만한 기능은 실시간 음성 복제입니다. 사용자가 한 문장만 말해도 음색 특징을 파악해, 외국어로 통역된 음성을 사용자 본인의 목소리 톤으로 출력해 줍니다. 전문 용어나 브랜드 이름, 인명을 미리 등록해 오역을 방지하는 핫워드(Hotword) 동적 설정 기능도 탑재되었습니다.

현재 알리바바 온라인 플랫폼에 무료 데모가 공개되어 있어 누구나 직접 체험해 볼 수 있습니다.

왜 중요한가

지금까지의 동시통역 도구는 대부분 '음성 인식, 텍스트 번역, 음성 합성'이라는 3단계 파이프라인에 갇혀 있었습니다. 소리만 들어서는 현장의 동음이의어나 주변 시각 정보를 도저히 파악할 수 없었던 셈입니다. 시각 맥락을 통역 엔진 안으로 끌어들인 것은 이러한 한계를 정면으로 돌파한 시도입니다.

글로벌 라이브 커머스를 진행하는 판매자, 다국적 비즈니스 미팅이 잦은 직장인, 스마트 글래스를 개발하는 진영 모두에게 이 기능은 실질적인 가치를 줍니다. 화면 속 문서를 보여주는 것만으로 정확한 스펙이 전달되고, 내 목소리로 바로 통역되는 경험은 대화의 단절감을 크게 줄여 줍니다.

스트리밍 지연 시간을 2.8초까지 낮추면서 라이브 커머스와 웨어러블 디바이스라는 실제 사용처에 정확히 초점을 맞춘 점이 영리해 보입니다. 음성 기능에만 머물러 있던 기존 통역 AI 시장에 시각 입력을 필수 요소로 끌어올리는 계기가 될 것으로 보입니다.