微軟開源 VibeVoice-ASR：單次處理 60 分鐘音訊，自帶說話人分離

微軟開源的 VibeVoice-ASR 是一個 9B 引數規模的通用語音理解模型，專門用來解決長音訊轉錄裡的文脈割裂和多說話人混亂問題。

普通語音識別工具處理長音訊時，通常要先把音訊切成 30 秒左右的小切片分別轉錄，最後再拼接起來。這樣往往會丟失前後文，導致說話人一多就對不上號。VibeVoice-ASR 拋棄了傳統的切塊流水線，能夠單次直接處理長達 60 分鐘的連續音訊。

它能做什麼

這個模型把語音識別、說話人分離和時間戳對齊合併成了一個端到端的生成任務。也就是說，給它一段長音訊，它吐出來的直接就是帶有角色標記和精確時間節點的轉錄文本，不需要再額外串接別的話者分離模型。

在速度和準確率上，有報道提到它能在 6 秒內轉錄 2 分鐘音訊。在基準測試中，它的詞錯誤率遠低於 Whisper 等體量甚至更大的模型。

在語言支援方面，論文指出模型支援超過 50 種語言，另有報道稱其覆蓋超過 100 種語言。它不需要在輸入前手動指定語言型別，能夠原生處理中英文等語碼混雜的夾雜表達。

它還設計了一套基於 Prompt 的上下文注入機制。如果轉錄內容包含生僻專業術語、人名或中文多音字，使用者可以直接把相關背景詞作為提示餵給模型，大幅降低專業領域的識別錯誤。

怎麼用與開放程度

目前微軟已經公開了模型的技術論文，程式碼也已開源並支援使用者針對自己的業務資料進行微調。

因為模型引數達到了 9B，如果想在本地完整部署或微調，需要具備視訊記憶體充裕的高效能 GPU 硬體環境。

想了解技術細節的開發者，可以先查閱 arXiv 上的論文（arXiv:2601.18184），並關注其開源倉庫獲取程式碼與微調指南。

為什麼重要

如果你的工作經常需要整理 1 小時左右的播客、會議記錄或長訪談，VibeVoice-ASR 非常值得關注。它把以前需要「切音訊、ASR、話者分離」三套工具串聯的繁瑣流程，壓縮成了一次端到端推演，直接省去了長音訊拼接帶來的錯位和漏字問題。

我們認為，單次處理長音訊並自帶說話人分離，很可能會成為下一代開源語音模型的標配。雖然 9B 引數對個人輕量裝置有一定門檻，但對於需要自建高精度離線轉錄服務的開發者和企業來說，它是一個能直接叫板 Whisper 且更懂長文本的開源新選項。