微软开源 VibeVoice-ASR：单次处理 60 分钟音频，自带说话人分离

微软开源的 VibeVoice-ASR 是一个 9B 参数规模的通用语音理解模型，专门用来解决长音频转录里的文脉割裂和多说话人混乱问题。

普通语音识别工具处理长音频时，通常要先把音频切成 30 秒左右的小切片分别转录，最后再拼接起来。这样往往会丢失前后文，导致说话人一多就对不上号。VibeVoice-ASR 抛弃了传统的切块流水线，能够单次直接处理长达 60 分钟的连续音频。

它能做什么

这个模型把语音识别、说话人分离和时间戳对齐合并成了一个端到端的生成任务。也就是说，给它一段长音频，它吐出来的直接就是带有角色标记和精确时间节点的转录文本，不需要再额外串接别的话者分离模型。

在速度和准确率上，有报道提到它能在 6 秒内转录 2 分钟音频。在基准测试中，它的词错误率远低于 Whisper 等体量甚至更大的模型。

在语言支持方面，论文指出模型支持超过 50 种语言，另有报道称其覆盖超过 100 种语言。它不需要在输入前手动指定语言类型，能够原生处理中英文等语码混杂的夹杂表达。

它还设计了一套基于 Prompt 的上下文注入机制。如果转录内容包含生僻专业术语、人名或中文多音字，用户可以直接把相关背景词作为提示喂给模型，大幅降低专业领域的识别错误。

怎么用与开放程度

目前微软已经公开了模型的技术论文，代码也已开源并支持用户针对自己的业务数据进行微调。

因为模型参数达到了 9B，如果想在本地完整部署或微调，需要具备显存充裕的高性能 GPU 硬件环境。

想了解技术细节的开发者，可以先查阅 arXiv 上的论文（arXiv:2601.18184），并关注其开源仓库获取代码与微调指南。

为什么重要

如果你的工作经常需要整理 1 小时左右的播客、会议记录或长访谈，VibeVoice-ASR 非常值得关注。它把以前需要「切音频、ASR、话者分离」三套工具串联的繁琐流程，压缩成了一次端到端推演，直接省去了长音频拼接带来的错位和漏字问题。

我们认为，单次处理长音频并自带说话人分离，很可能会成为下一代开源语音模型的标配。虽然 9B 参数对个人轻量设备有一定门槛，但对于需要自建高精度离线转录服务的开发者和企业来说，它是一个能直接叫板 Whisper 且更懂长文本的开源新选项。