Microsoft 開源 VibeVoice-ASR：單次轉錄 60 分鐘音訊，自帶說話人識別

VibeVoice-ASR 是 Microsoft 在 Hugging Face 上開源的端到端語音識別模型。它的核心能力，是能在單次推理中直接吞下一整條長達 60 分鐘的連續音訊，並且同步輸出帶說話人標記和精確時間戳的結構化轉錄文本。

它能做什麼

以往做長音訊轉錄，主流做法通常是把音訊切成幾十秒的小碎片分別識別。這種切片方案經常丟失全域性上下文，遇到跨切片的長句子或說話人切換時容易出錯。

VibeVoice-ASR 把上下文視窗撐到了 64K token 長度，允許使用者把長達一小時的會議或播客直接整段餵給模型。它在保持語義連貫的同時，能自始至終穩定追蹤不同說話人的身份。

模型把語音識別、說話人日誌和時間戳對齊合併在一個流程裡完成。轉錄出來的結果直接包含「誰、在什麼時候、說了什麼」，省去了後處理對齊的多道工序。

針對專業領域的識別痛點，它支援輸入自定義熱詞。遇到特定人名、行業黑話或專有名詞時，可以通過熱詞提示大幅拉高識別準度。

語言支援方面，它覆蓋了 50 多種語言，使用時不需要手動指定語種。在實際對話常見的語碼混用場景中，比如一句話裡中英文夾雜，模型也能直接識別。

怎麼跑起來

在環境配置上，這個模型已經被整合進 Hugging Face 的生態體系，只要安裝 5.3.0 或更高版本的 Transformers 庫就能直接呼叫。

程式碼呼叫非常精簡，通過 AutoProcessor 和 VibeVoiceAsrForConditionalGeneration 即可直接從官方倉庫拉取權重載入。

在解碼輸出時，模型提供了多種返回格式。除了原始文本，開發者可以直接解析為帶開始時間、結束時間、說話人編號和內容的字典列表，也能一鍵提取剔除了標記的純文本。

目前權重已經放在 Hugging Face 倉庫開放下載，專案主頁上還同步附帶了線上 Demo 和技術報告。

為什麼重要

如果你在開發會議記錄整理、長播客切片、訪談聽錄這類需要分角色記錄的產品，這個模型非常值得第一時間拉下來跑跑看。

以往搭建這套流程，開發者往往要把 Whisper 這種語音模型和 PyAnnote 等說話人分離工具拼裝在一起，流程鏈路長，切片處的拼介面還總出瑕疵。VibeVoice-ASR 用一個端到端模型把這些環節打包吞下，大幅壓低了工程複雜度。

不過需要留意的是，一次性吃進 60 分鐘音訊並在 64K 長度下運算，對視訊記憶體開銷和推理算力顯然會有一定門檻，在實際落地前需要權衡硬體成本與吞吐效率。