跳到正文
IFAI

開源專案

阿里開源 Qwen-Audio-Agent:邊打電話邊讓智慧體寫程式碼

首次發布 傳播指數 48

阿里開源即時語音執行時 qwen-audio-agent,主打全雙工語音前臺與後臺 Agent 並行協作。使用者能像打電話一樣隨時打斷追問,後臺同時非同步跑寫程式碼、改檔案等任務,完成後直接語音彙報。

阿里開源 Qwen-Audio-Agent:邊打電話邊讓智慧體寫程式碼
圖:github.com

qwen-audio-agent 是阿里開源的一個即時語音執行時,簡單說就是給各類寫程式碼、跑任務的 Agent 裝上了耳朵和嘴巴。它把全雙工即時語音做成前臺,後臺對接深度任務 Agent,讓你能像平時打電話一樣跟 AI 協作。

以往的語音助手最讓人難受的地方,就是一旦觸發了搜尋、寫程式碼或者呼叫工具,整段對話就會直接卡住,你只能乾等。qwen-audio-agent 的核心思路是把前臺對話和後臺任務徹底拆開,前臺負責陪你聊、聽你插話,後臺負責非同步乾重活,兩邊同時跑。

它能做什麼

在互動上,它支援全雙工即時語音。你可以一邊說話一邊梳理思路,中途想到新點子能隨時開口打斷,不需要像傳統對講機那樣等它說完或者按住按鍵。

你交代給它的複雜任務,比如寫一段新邏輯、改檔案或者搜尋資料,會被交給後臺 Agent 非同步執行。任務在後臺跑的時候,前臺對話不會停,你可以隨時開口問它進度,或者追加新的修改要求。

後臺一旦搞定,它會像真人同事一樣在對話裡自然地來一句「做好了」,並把結果帶回當前的上下文。除了語音,如果前臺模型支援視覺,它還可以通過攝像頭捕獲畫面輔助互動。

它的客戶端形態很全,既有網頁版 WebUI、終端 TUI,也有支援 macOS、Windows 和 Linux 的桌面懸浮球。桌面端不僅自帶閘道器和本地休眠,還支援「你好千問」語音喚醒和跨會話長期記憶。

怎麼跑起來

專案對模組化解耦做得很徹底。前臺語音層和後臺任務層可以自由混搭。

前臺語音預設推薦百鍊的 Qwen Audio 3.1 Realtime Plus,同時也相容 OpenAI Realtime、Google Gemini Live、豆包、階躍星辰等雲端服務。如果你想完全離線跑,也可以接入本地的 Hugging Face 語音鏈路,自己配置 VAD、STT、LLM 和 TTS。

後臺 Agent 支援通過統一的 ACP 等協議接入現有的開發工具,比如 OpenCode、OpenClaw、Claude Code、Codex、Qoder、Kimi Code 和 DeepSeek Harness。這意味著你不需要重新配置模型或工具鏈,直接複用既有的環境和技能即可。

執行環境要求 Node.js 22.22.2 以上或 24.15.0 以上,以及 npm 10 以上。直接通過 npm 全域性安裝 qwen-audio-agent,配置好百鍊等平臺的 API Key,先用命令列啟動閘道器,再啟動 TUI 或 WebUI 就能用上。桌面端也可以直接去 GitHub Releases 下載對應系統的安裝包。

為什麼重要

對於每天重度依賴 Agent 寫程式碼、改專案的開發者來說,這個專案很值得試一試。它改變了以往對著輸入框打字、或者死等終端跑完的互動體驗,一邊說話一邊構思,零碎的髒活累活全甩給後臺跑,體驗非常接近僱了一個真人結對程式設計搭子。

和 OpenAI 的 GPT-Live 相比,阿里走的是平臺聚合路線。它沒有把使用者綁死在某一家模型上,而是把自己定位成一個通用 Harness,既能吸納各種前沿語音模型,又能連通主流的程式碼 Agent。我們認為這種把對話層與執行層剝離的設計很聰明,解決了重度 Agent 場景下語音對話必然會卡頓的痛點,給整個開源社群提供了一個現成可用的即時語音入口。

來源 (1)

  1. [1]
    github.com(在新分頁開啟)原文github.com

每日 AI 內容精選