腾讯开源语音基础模型 AuK：1.5B 参数，一句话就能增删音频词句与情绪

AuK 是腾讯开源的 1.5B 语音生成与编辑基础模型，能让你像在文本编辑器里改文档一样，用自然语言直接修改已有音频里的字词、情绪甚至口音。

它把过去需要多个专业音频工具才能处理的活儿，全收缩进了一套统一的指令系统里。代码和模型权重已经完全开放，包含主打高质量生成的基座模型 AuK，以及专为极速生成优化的 4 步蒸馏版 AuK-Flash。

它能做什么

传统的语音模型大多只能做到输入文本并合成声音，而 AuK 的核心优势在于编辑现有音频。它能做的事情大致可以分成四类。

第一类是内容微调。录好的音频里说错了词，以往通常要重新录制整句。在 AuK 里，你只需要传进音频并给出一条指令，比如把某句话里的一个单词替换掉，或者直接删掉某一句、插进一段新内容，模型就能在保留原说话人音色和语调的前提下完成无缝衔接。

第二类是副语言与声学控制。你可以让它把一段平静的叙述变成愤怒或悲伤的语气，把普通说话声转换成耳语，甚至调整音高、语速和音量。它还支持去除地方口音，或者定向删除和添加笑声、咳嗽与呼吸声。

第三类是语音增强与分离。遇到录音环境嘈杂的情况，直接给指令就能一键去除环境噪音与混响，或者在多人群聊与带伴奏的音乐里单独把目标说话人的人声剥离出来。

第四类则是常规但更灵活的语音生成。除了只给几秒参考音频的零样本声音克隆，它还支持仅凭一段文字描述去合成指定音色，不需要上传任何参考声音。

怎么跑起来

从架构上看，AuK 包含扩散 Transformer、层融合权重，并配合 Qwen2.5-Omni-3B 文本编码器一起工作。为了降低自然语言调用的门槛，官方还提供了一个叫 Prompt Enhancer 的小工具，能把你的口语化要求直接翻译成可执行的推理命令行。

对本地开发者来说，它的部署门槛相当亲民。模型主干大约在 6GB 左右，官方团队通过优化将编码器显存降低了约 7.5 GiB。在启用 CPU 卸载之后，显存占用可以从近 25 GiB 进一步压到 17 GiB 左右，主流消费级显卡基本都能跑得动。

在生态支持上，它已经打通了主流框架。除了官方提供的 Gradio 界面和 ComfyUI 节点，它还支持通过 audio.cpp 进行 GGUF 离线推理、在苹果 Apple Silicon 上使用 MLX 运行，并在服务端支持 vLLM-Omni 与 SGLang-Omni 加速。

如果你不想本地折腾环境，官方在 Hugging Face Space 和 ModelScope 上都上线了可直接体验的在线 Demo。

为什么重要

对于播客主播、自媒体视频创作者和游戏配音团队来说，AuK 极有实用价值。过去改动一两个字就得找主播返工补录，现在只要给一句指令就能无缝缝合，试错成本几乎归零。如果你经常处理人声录音，现在就值得去跑一下它的在线 Demo。

在技术路径上，腾讯把音频生成、降噪、分离和细粒度修音合并到一个 1.5B 的小模型里，走的是端到端大一统思路，这比拼装多个专用小模型要聪明得多。不过我们认为，自然语言修音的隐患在于控制的精确度，比如语调过渡在复杂句式下偶尔仍可能产生拼接感，但作为完全开源的项目，它已经立下了一个极高标准的起点。