騰訊開源 Covo-Audio：7B 端到端語音模型，支援全雙工邊聽邊說

Covo-Audio 是騰訊開源的 7B 引數端到端音訊大語言模型。它不用傳統語音識別拼接大模型再接 TTS 的級聯方案，而是用一套統一架構直接接收連續音訊並生成音訊，把全雙工對話和即時打斷做進了模型原生能力裡。

這次在 GitHub 和 Hugging Face 開放的是 Covo-Audio-Chat，包含程式碼、預訓練權重以及支援原生低延遲全雙工的變體方案。

它能做什麼

大多數語音助手跟你聊天時，必須等你徹底閉嘴才能開始生成回覆，體驗就像在對講機裡按鍵喊話。

Covo-Audio-Chat 主打的就是原生全雙工互動。換句話說，你在說話的同時它已經在聽，它說話的當口你也隨時能插話打斷，整個過程沒有明顯的往返斷層。

為了兼顧語義和音色，騰訊在底層做了一套分層三模態交錯機制。模型把連續的聲學特徵、離散的語音 token 和自然語言文本串在同一個序列裡處理，既保留了語調、停頓這種微小的韻律細節，又守住了大模型原有的語言理解能力。

另一個聰明的改動是把說話人音色和對話智力解耦。很多語音模型換個好聽的聲音智商就下降，或者聰明的聲音聽起來特別機械。Covo-Audio 靠多發音人訓練和上下文自適應，把對話能力和音色分開，讓優質聲音可以自由遷移共享。

在基準測試上，這個 7B 架構在口語對話、語音理解、通用音訊理解以及全雙工互動等任務中，拿到了同等引數規模下領先或極具競爭力的成績。

怎麼跑起來

想要部署 Covo-Audio，環境要求 Python 3.11 或以上版本。

你只需要從騰訊的 GitHub 倉庫拉取 Covo-Audio 程式碼，安裝依賴後，再通過 Hugging Face Hub 下載 tencent/Covo-Audio-Chat 權重到本地對應目錄。

官方給出了現成的一鍵推理指令碼 example.sh。把指令碼配置中的模型路徑改好，把測試音訊換成你自己的音訊檔案，就能跑通一次完整的端到端語音互動。

需要留心的是，官方在免責聲明裡明確註明，Covo-Audio-Chat 目前僅供研究與實驗用途。生成的內容依然可能存在偏差或不準確，實際落地前需要開發者自己做好驗證。

為什麼重要

端到端全雙工是智慧語音公認的下一個終局，但此前大部分好用的原生方案都鎖在大廠內部，普通團隊只能用傳統的三段式流水線去硬湊偽雙工。

騰訊把 7B 級別的全雙工模型連程式碼帶權重開源出來，對想做陪伴硬體、電話代理或即時語音翻譯的開發者來說是個及時的輪子。7B 的體積適中，不需要堆疊昂貴的推理叢集就能跑起來。

不過這類端到端模型在真實場景下面臨的最大考驗從來不是跑分，而是嘈雜背景下的打斷誤判與幻覺控制。它適不適合進你的生產系統，最好先拿實際通話錄音跑一跑。