CrisperWhisper 2.0 開源：支援逐字與潤色雙模式，詞級誤差僅 30 毫秒

CrisperWhisper 2.0 是 nyra labs 開源的一套語音轉文字模型，專門解決轉錄工具裡最讓人頭疼的二選一難題：你到底是想要一字不差的真實記錄，還是一份看起來乾乾淨淨的成稿。

普通語音識別工具往往把這兩件事混在一起，同一句語氣詞有時記、有時扔。CrisperWhisper 2.0 把這個選擇權做成了一個開關，直接提供兩種輸出模式。

它能做什麼

開啟「逐字模式」，模型會老老實實記下所有內容，包括說話人的口癖、結巴、重複、笑聲標籤以及半路改口的斷句。這在醫療問診記錄、法庭取證或者做口語分析時特別管用。

切換到「意圖模式」，它就會自動抹去所有的猶豫和語氣助詞，順便把口述的數字、日期和郵箱排版規整，直接輸出適合閱讀的潤色文本。

除了轉錄模式可調，它的詞級時間戳精度極高。很多模型給出的時間戳會有幾百毫秒的漂移，而 CrisperWhisper 2.0 在朗讀語音測試中的平均詞邊界誤差只有 29.6 毫秒，日常對話場景也只有 40.6 毫秒。在官方基準測試裡，這一成績超過了 ElevenLabs Scribe v2 和 xAI 的轉錄服務。

針對長音訊，它拋棄了 Whisper 原版靠時間戳標記切片拼接的做法，改用條件續寫機制，把上一段末尾的幾個詞交給下一個音訊視窗。這樣不僅推理速度更快，還消除了接縫處的吞字和重複，並有效壓制了 Whisper 常見的死迴圈幻覺。

團隊還附帶了一個叫 Verbatimize 的功能：只要塞給它音訊和現成的乾淨文本，它就能反向補齊語音裡的所有停頓和笑聲，非常適合用來製作高表現力的 TTS 語音合成訓練資料。

怎麼跑起來

該系列一共開源了 4 個不同尺寸的模型，支援多語言轉錄。

最小的版本只有 2 億引數，模型檔案不到 500MB，普通電腦甚至不需要獨立顯示卡就能流暢跑起來。

最大的版本也只有 20 億引數，體積約為 3GB，消費級顯示卡基本都能輕鬆裝下。模型採用了定製的 CTranslate2 推理路徑，支援投機解碼，兼顧了吞吐量和延遲。

如果你不想本地配置環境，官方已經在 Hugging Face 部署了免費的 Space，上傳音訊就能直接試用。需要本地部署的開發者也可以在 Hugging Face 頁面獲取模型權重和執行說明。

為什麼重要

對於做字幕聽翻、播客剪輯和語音資料清洗的人來說，這個工具非常值得一試。以前要在乾淨文本和精確時間軸之間來回折騰，現在一個輕量開源模型就能把兩頭都顧上。

我們認為，nyra labs 最聰明的地方是沒有盲目堆引數，而是把精力放在了對齊精度、輸出可控和長音訊穩定性這些實際落地痛點上。用不到 500MB 的體積做到毫秒級詞對齊，它在端側和低成本部署場景下，對商業閉源 API 形成了相當有力的替代。