騰訊開源語音基礎模型 AuK：1.5B 引數，一句話就能增刪音訊詞句與情緒

AuK 是騰訊開源的 1.5B 語音生成與編輯基礎模型，能讓你像在文本編輯器裡改文件一樣，用自然語言直接修改已有音訊裡的字詞、情緒甚至口音。

它把過去需要多個專業音訊工具才能處理的活兒，全收縮進了一套統一的指令系統裡。程式碼和模型權重已經完全開放，包含主打高質量生成的基座模型 AuK，以及專為極速生成最佳化的 4 步蒸餾版 AuK-Flash。

它能做什麼

傳統的語音模型大多隻能做到輸入文本併合成聲音，而 AuK 的核心優勢在於編輯現有音訊。它能做的事情大致可以分成四類。

第一類是內容微調。錄好的音訊裡說錯了詞，以往通常要重新錄製整句。在 AuK 裡，你只需要傳進音訊並給出一條指令，比如把某句話裡的一個單詞替換掉，或者直接刪掉某一句、插進一段新內容，模型就能在保留原說話人音色和語調的前提下完成無縫銜接。

第二類是副語言與聲學控制。你可以讓它把一段平靜的敘述變成憤怒或悲傷的語氣，把普通說話聲轉換成耳語，甚至調整音高、語速和音量。它還支援去除地方口音，或者定向刪除和新增笑聲、咳嗽與呼吸聲。

第三類是語音增強與分離。遇到錄音環境嘈雜的情況，直接給指令就能一鍵去除環境噪音與混響，或者在多人群聊與帶伴奏的音樂里單獨把目標說話人的人聲剝離出來。

第四類則是常規但更靈活的語音生成。除了只給幾秒參考音訊的零樣本聲音克隆，它還支援僅憑一段文字描述去合成指定音色，不需要上傳任何參考聲音。

怎麼跑起來

從架構上看，AuK 包含擴散 Transformer、層融合權重，並配合 Qwen2.5-Omni-3B 文本編碼器一起工作。為了降低自然語言呼叫的門檻，官方還提供了一個叫 Prompt Enhancer 的小工具，能把你的口語化要求直接翻譯成可執行的推理命令列。

對本地開發者來說，它的部署門檻相當親民。模型主幹大約在 6GB 左右，官方團隊通過最佳化將編碼器視訊記憶體降低了約 7.5 GiB。在啟用 CPU 解除安裝之後，視訊記憶體佔用可以從近 25 GiB 進一步壓到 17 GiB 左右，主流消費級顯示卡基本都能跑得動。

在生態支援上，它已經打通了主流框架。除了官方提供的 Gradio 介面和 ComfyUI 節點，它還支援通過 audio.cpp 進行 GGUF 離線推理、在蘋果 Apple Silicon 上使用 MLX 執行，並在服務端支援 vLLM-Omni 與 SGLang-Omni 加速。

如果你不想本地折騰環境，官方在 Hugging Face Space 和 ModelScope 上都上線了可直接體驗的線上 Demo。

為什麼重要

對於播客主播、自媒體影片創作者和遊戲配音團隊來說，AuK 極有實用價值。過去改動一兩個字就得找主播返工補錄，現在只要給一句指令就能無縫縫合，試錯成本幾乎歸零。如果你經常處理人聲錄音，現在就值得去跑一下它的線上 Demo。

在技術路徑上，騰訊把音訊生成、降噪、分離和細粒度修音合併到一個 1.5B 的小模型裡，走的是端到端大一統思路，這比拼裝多個專用小模型要聰明得多。不過我們認為，自然語言修音的隱患在於控制的精確度，比如語調過渡在複雜句式下偶爾仍可能產生拼接感，但作為完全開源的專案，它已經立下了一個極高標準的起點。