알리바바 Qwen-Audio-Agent 공개: 통화하듯 음성으로 AI 에이전트 지휘

qwen-audio-agent는 알리바바가 오픈소스로 공개한 AI 에이전트용 실시간 음성 런타임입니다. 쉽게 말해 기존 코딩 및 작업 에이전트들에게 귀와 입을 달아주어, 전화 통화를 하듯 자연스럽게 대화하며 협업할 수 있게 해주는 도구입니다.

기존 음성 비서는 복잡한 코드 작성이나 검색, 도구 호출이 시작되면 대화가 완전히 멈추고 결과를 기다려야만 했습니다. qwen-audio-agent는 실시간 대화를 담당하는 음성 프런트엔드와 무거운 작업을 처리하는 백엔드 에이전트를 분리해, 대화를 끊지 않고 작업을 병렬로 처리합니다.

무엇을 할 수 있나

프런트엔드는 전이중 실시간 음성을 지원합니다. 말을 하면서 생각을 정리하거나 중간에 언제든 끼어들어 말을 끊을 수 있어, 무전기처럼 차례를 기다릴 필요가 없습니다.

코드 수정이나 파일 편집, 자료 조사 같은 무거운 작업은 백엔드 에이전트에 비동기로 넘겨집니다. 백엔드가 돌아가는 동안에도 음성 대화는 계속 이어지며, 작업이 어디까지 진행되었는지 물어보거나 추가 조건을 덧붙일 수 있습니다.

작업이 끝나면 에이전트가 통화 중에 자연스럽게 다 됐다고 알려주며 결과물을 대화 맥락으로 가져옵니다. 비전을 지원하는 실시간 모델을 연결하면 카메라 화면을 공유하며 협업하는 것도 가능합니다.

사용 환경도 다양합니다. WebUI와 터미널 TUI는 물론, macOS, Windows, Linux를 지원하는 데스크톱 플로팅 오브 형태로도 쓸 수 있습니다. 데스크톱 앱은 로컬 음성 호출어인 '니하오 치엔원'과 커스텀 스킨, 세션을 넘나드는 장기 기억을 지원합니다.

어떻게 실행하나

모듈 분리가 매우 잘 되어 있어 음성 프런트엔드와 작업 백엔드를 자유롭게 조합할 수 있습니다.

음성 프런트엔드는 알리바바 바이롄의 Qwen Audio 3.1 Realtime Plus가 기본이지만, OpenAI Realtime, Google Gemini Live, Doubao, StepAudio 등도 지원합니다. 오프라인 로컬 환경을 원한다면 Hugging Face 기반 파이프라인을 연결해 VAD, STT, LLM, TTS를 직접 구축할 수도 있습니다.

백엔드 에이전트는 표준 ACP 프로토콜 등을 통해 OpenCode, OpenClaw, Claude Code, Codex, Qoder, Kimi Code, DeepSeek Harness 등 다양한 도구와 연결됩니다. 기존에 쓰던 도구 설정이나 인증 정보를 그대로 재사용할 수 있습니다.

실행에는 Node.js 22.22.2 이상 또는 24.15.0 이상, npm 10 이상이 필요합니다. npm으로 전역 설치한 뒤 API 키를 설정하고 게이트웨이와 TUI를 띄우면 바로 쓸 수 있습니다. 데스크톱 앱 설치 파일은 GitHub Releases에서 내려받을 수 있습니다.

왜 중요한가

평소 에이전트로 코딩 작업을 많이 하는 개발자라면 지금 바로 시험해볼 만합니다. 텍스트 프롬프트를 일일이 치며 터미널 완료를 기다리던 방식에서 벗어나, 페어 프로그래밍을 하듯 말로 아이디어를 던지고 뒤에서 작업을 돌리는 경험을 주기 때문입니다.

단일 모델에 종속되는 방식과 달리, 알리바바는 다양한 음성 모델과 작업 에이전트를 하나로 묶어주는 오픈 하네스 형태를 택했습니다. 대화 세션과 무거운 실행 엔진을 똑똑하게 분리해 지연 시간 문제를 푼 만큼, 오픈소스 생태계에서 실용적인 실시간 음성 프런트엔드 표준으로 자리 잡을 가능성이 높습니다.