알리바바, 옴니모달 AI 'Qwen3.5-Omni' 공개: 카메라에 말하면 앱 개발

웹사이트나 미니게임을 만들 때 화면을 보여주며 말로만 설명해도 즉석에서 코드가 완성되는 작업 환경이 눈앞으로 다가왔습니다.

알리바바 Qwen 팀이 텍스트, 이미지, 음성, 비디오를 동시에 이해하는 네이티브 옴니모달 인공지능 모델 Qwen3.5-Omni를 공개했습니다. 일부 매체에서는 Qwen3.Omni로도 불리고 있으며, 모델군은 Plus, Flash, Light 세 가지로 나뉩니다.

이번 발표에서 가장 눈길을 끄는 기능은 음성-시각 바이브 코딩(Audio-Visual Vibe Coding)입니다. 웹캠을 켠 채로 구상 중인 아이디어를 말로 설명하면, Qwen3.5-Omni-Plus가 실시간으로 작동 가능한 웹페이지나 게임을 곧바로 제작해 줍니다.

긴 호흡의 영상 분석과 벤치마크 성과

Qwen3.5-Omni는 각 모달리티를 따로 붙인 형태가 아니라 네이티브 통합 아키텍처로 설계되었으며, 1억 시간 이상의 데이터셋을 통해 훈련을 거쳤습니다.

오프라인 모드에서는 최대 10시간 분량의 오디오나 400초 길이의 720p 비디오를 한 번에 처리할 수 있습니다. 타임스탬프와 장면 전환 지점, 화자 구분까지 정확하게 짚어내는 대본 수준의 영상 자막 생성이 가능합니다.

음성 인식은 113개 언어를 지원하며, 음성 합성 출력은 36개 언어를 구사합니다. 알리바바 측은 이 모델이 음성 처리 영역에서 제미나이-3.1 프로를 앞섰고, 시각과 음성을 결합한 종합 이해력에서도 동등한 수준에 도달했다고 밝혔습니다.

자연스러워진 실시간 음성 상호작용

실시간 대화 품질에서도 사용자 경험을 해치던 요소들을 가다듬었습니다. 배경 소음은 걸러내고 사용자의 실제 발화 의도만 파악해 말하는 순서를 넘기는 턴테이킹 기술이 적용되었습니다.

실시간으로 목소리의 감정과 말하는 속도, 음량을 조절할 수 있고, 웹 검색과 복잡한 함수 호출 기능도 내장되어 있습니다. 짧은 오디오 샘플만으로 음성을 복제하는 기능 역시 조만간 정식 엔지니어링 배포가 이뤄질 예정입니다.

현재 chat.qwen.ai와 허깅페이스 데모 공간에서 음성 및 영상 대화를 직접 사용해 볼 수 있으며, 알리바바 클라우드 모델 스튜디오를 통해 오프라인 및 실시간 API도 함께 제공됩니다.

왜 중요한가

개발자와 창작자 입장에서 카메라에 스케치를 비추며 말로 지시하는 프로토타이핑은 프롬프트 텍스트를 길게 다듬던 기존 방식보다 진입 장벽을 대폭 낮춰줍니다. 아이디어를 빠르게 시각화해 보고 싶은 사람이라면 공개된 웹 데모를 지금 당장 써볼 가치가 충분합니다.

업계 전반으로 보면 실시간 옴니모달 인터랙션 분야에서 독주하던 오픈AI와 구글의 진영에 강력한 견제구가 던져졌습니다. 제미나이-3.1 프로와 대등하거나 앞선 성능을 입증하면서, 글로벌 빅테크 기업들도 멀티모달 서비스의 개방과 가격 경쟁을 서두를 수밖에 없습니다.

알리바바가 기술적 수치에만 머무르지 않고 비디오와 음성을 결합한 코딩이라는 구체적인 킬러 기능을 앞세운 점은 영리한 선택으로 보입니다. 다만 네이티브 비디오 입력 길이가 400초로 제한되어 있다는 점과 음성 복제 기능이 아직 정식 배포 전이라는 점은 실제 프로덕션 환경 도입 시 감안해야 할 한계입니다.