アリババが「Qwen-Audio-Agent」公開：通話しながらAIにタスク実行

「qwen-audio-agent」は、アリババがオープンソースで公開したAIエージェント向けのリアルタイム音声ランタイムです。プログラミングやリサーチをこなす既存のエージェントに耳と口を与え、電話で通話するような感覚でAIと共同作業できるようにしてくれます。

従来の音声アシスタントは、コード生成やWeb検索、ツール実行に入った瞬間に会話が完全に止まり、ユーザーは待たされるしかありませんでした。qwen-audio-agentは、表のリアルタイム会話と裏の重いタスク実行を完全に分離し、両者を並行して走らせることでこの問題を解消しています。

何ができるのか

フロントエンドは全二重のリアルタイム音声対話をサポートしています。話しながら考えをまとめたり、途中で自然に割り込んで口を挟んだりすることが可能で、トランシーバーのように相手の話が終わるのを待つ必要はありません。

コードの書き換えやファイル編集、情報検索といった重いタスクを指示すると、裏のバックエンドAgentに非同期で委任されます。タスク実行中も音声通話は途切れず、作業の進捗を尋ねたり追加の指示を出したりできます。

バックエンドの作業が終わると、AIが自然に「できました」と会話に復帰し、成果物をその場の文脈に反映させます。カメラ映像を入力できる音声モデルを使えば、リアルタイムな視覚情報を踏まえたやり取りも可能です。

利用形態も充実しており、WebUIやターミナルTUIに加え、macOS、Windows、Linux向けのデスクトップフローティングオーブが用意されています。デスクトップ版はローカルでのウェイクワード認識（「你好千问」）や着せ替え機能、セッションを跨ぐ長期記憶にも対応しています。

どう動かすか

設計は徹底してモジュール化されており、音声フロントエンドとタスク実行バックエンドを自由に組み合わせられます。

音声側は百錬プラットフォームのQwen Audio 3.1 Realtime Plusが標準ですが、OpenAI Realtime、Google Gemini Live、Doubao、StepAudioなども選べます。完全ローカルで動かしたい場合は、Hugging FaceのSpeech-to-Speechパイプラインを使ってVAD、STT、LLM、TTSを自前構成することも可能です。

バックエンド側はACPプロトコルなどを通じて、OpenCode、OpenClaw、Claude Code、Codex、Qoder、Kimi Code、DeepSeek Harnessなど主要な開発Agentとワンクリックで接続できます。既存のツール設定や認証情報をそのまま引き継げるのが特徴です。

動作環境はNode.js 22.22.2以上または24.15.0以上、npm 10以上が必要です。npmコマンドでグローバルインストールしてAPIキーを設定し、ゲートウェイとTUIを起動すればすぐに試せます。デスクトップアプリのインストーラーはGitHubのReleasesページから直接ダウンロードできます。

なぜ重要か

日頃からエージェントにコードを書かせている開発者なら、今すぐ試す価値があります。プロンプトをキーボードで打ち込んで画面の完了をじっと待つスタイルから、声で指示を出しながら裏で作業を進めさせるペアプログラミングのような体験へシフトできるからです。

単一の閉じたエコシステムに縛られがちなアプローチと異なり、アリババは外部のエージェントや音声モデルを繋ぐハブとしてのポジションを取りました。会話を止めずに重いタスクを裏で走らせる仕組みは非常に合理的で、実用的な音声インターフェースとしてオープンソース界隈に定着しそうです。