알리바바, 텍스트·시각·음성 아우르는 엔드투엔드 'Qwen3-Omni' 오픈소스 공개

Qwen3-Omni는 텍스트, 이미지, 오디오, 비디오를 단일 구조 안에 통합한 알리바바의 오픈소스 엔드투엔드 옴니모달 모델입니다.

외부 음성 인식이나 합성 모듈을 번거롭게 연결할 필요 없이, 모델 자체가 시각과 청각 데이터를 네이티브하게 해석하고 텍스트와 음성을 직접 출력합니다.

무엇을 할 수 있나

가장 눈에 띄는 부분은 반응 속도입니다. 알리바바가 측정한 응답 지연 시간은 211ms 수준으로, 사람이 자연스럽게 주고받는 대화 템포에 근접했습니다.

최장 30분의 연속 오디오 입력을 처리할 수 있어 긴 회의 녹음이나 영상 분석 작업도 무리 없이 소화합니다. 오디오 및 시청각 관련 36개 벤치마크 중 22개에서 최고 성능(SOTA)을 기록했다고 밝혔습니다.

언어 지원 폭도 넓습니다. 텍스트 입력은 119개 언어, 음성 입력은 19개 언어, 음성 출력은 10개 언어를 지원합니다. 기본적으로 도구 호출 기능을 지원하며, 시스템 프롬프트를 통해 대화 페르소나와 동작 방식을 자유롭게 제어할 수 있습니다.

공개 범위와 체험 방법

전체 코드는 GitHub에 공개되었으며, 가중치는 Hugging Face와 ModelScope 컬렉션을 통해 배포됩니다.

공개된 라인업은 30B급으로, 일반 대화용인 Instruct, 추론 역량을 강화한 Thinking, 환각을 줄인 음성 묘사 전용 Captioner 모델로 구성됩니다. 저장소에 명시된 파라미터 크기는 약 32B에서 35B 사이입니다.

별도 설치 없이 확인해보고 싶다면 Hugging Face Spaces의 온라인 데모나 Qwen Chat 웹 인터페이스의 플래시 버전을 이용하면 됩니다. 로컬 환경에서 직접 배포하려면 실시간 오디오 스트리밍과 30B 멀티모달 추론을 버틸 수 있는 고용량 VRAM GPU가 필요합니다.

왜 중요한가

음성 에이전트나 실시간 고객 응대 시스템, 멀티모달 상호작용 봇을 구축하려는 개발자에게 Qwen3-Omni는 가장 먼저 검토해야 할 오픈소스 선택지입니다.

지연 시간이 짧은 엔드투엔드 전모달 모델은 그동안 독점 상용 API에 국한되어 있었습니다. 알리바바가 30B급 가중치와 함께 Thinking 모델까지 공개하면서, 고성능 대화형 에이전트를 독립적으로 구동할 수 있는 환경이 열렸습니다.

다만 실시간 음성과 영상을 처리하는 스트리밍 파이프라인은 순수 텍스트 언어 모델보다 인프라 관리 난도가 훨씬 높습니다. 본격적인 도입 전에 온라인 데모에서 주변 소음 처리나 인식 정확도를 충분히 검증하고 하드웨어 비용을 따져보는 것을 권합니다.