Microsoft 开源 VibeVoice-ASR：单次转录 60 分钟音频，自带说话人识别

VibeVoice-ASR 是 Microsoft 在 Hugging Face 上开源的端到端语音识别模型。它的核心能力，是能在单次推理中直接吞下一整条长达 60 分钟的连续音频，并且同步输出带说话人标记和精确时间戳的结构化转录文本。

它能做什么

以往做长音频转录，主流做法通常是把音频切成几十秒的小碎片分别识别。这种切片方案经常丢失全局上下文，遇到跨切片的长句子或说话人切换时容易出错。

VibeVoice-ASR 把上下文窗口撑到了 64K token 长度，允许用户把长达一小时的会议或播客直接整段喂给模型。它在保持语义连贯的同时，能自始至终稳定追踪不同说话人的身份。

模型把语音识别、说话人日志和时间戳对齐合并在一个流程里完成。转录出来的结果直接包含「谁、在什么时候、说了什么」，省去了后处理对齐的多道工序。

针对专业领域的识别痛点，它支持输入自定义热词。遇到特定人名、行业黑话或专有名词时，可以通过热词提示大幅拉高识别准度。

语言支持方面，它覆盖了 50 多种语言，使用时不需要手动指定语种。在实际对话常见的语码混用场景中，比如一句话里中英文夹杂，模型也能直接识别。

怎么跑起来

在环境配置上，这个模型已经被整合进 Hugging Face 的生态体系，只要安装 5.3.0 或更高版本的 Transformers 库就能直接调用。

代码调用非常精简，通过 AutoProcessor 和 VibeVoiceAsrForConditionalGeneration 即可直接从官方仓库拉取权重加载。

在解码输出时，模型提供了多种返回格式。除了原始文本，开发者可以直接解析为带开始时间、结束时间、说话人编号和内容的字典列表，也能一键提取剔除了标记的纯文本。

目前权重已经放在 Hugging Face 仓库开放下载，项目主页上还同步附带了在线 Demo 和技术报告。

为什么重要

如果你在开发会议记录整理、长播客切片、访谈听录这类需要分角色记录的产品，这个模型非常值得第一时间拉下来跑跑看。

以往搭建这套流程，开发者往往要把 Whisper 这种语音模型和 PyAnnote 等说话人分离工具拼装在一起，流程链路长，切片处的拼接口还总出瑕疵。VibeVoice-ASR 用一个端到端模型把这些环节打包吞下，大幅压低了工程复杂度。

不过需要留意的是，一次性吃进 60 分钟音频并在 64K 长度下运算，对显存开销和推理算力显然会有一定门槛，在实际落地前需要权衡硬件成本与吞吐效率。