跳到正文
IFAI

開源專案

Underdog 開源 Bark 3.0:163MB 語音模型,5 分鐘音訊半秒轉完

首次發布 傳播指數 59

本週,Underdog 在 Hugging Face 開源語音轉文字模型 Bark 3.0,體積僅 163 MB,在蘋果 M 系列晶片上轉寫 5 分鐘音訊僅需半秒。它的英文會議錯誤率明顯低於 Whisper Large,Clean 版本還能自動過濾掉口頭禪。不過目前僅支援英文。

Underdog 開源 Bark 3.0:163MB 語音模型,5 分鐘音訊半秒轉完
圖:underdog.ai

Underdog 剛剛開源的 Bark 3.0,是一個極小但極快的離線語音轉文字模型。

它的下載體積只有 163 MB,轉寫速度極快,在搭載 M5 Max 晶片的 MacBook Pro 上,轉寫 5 分鐘的音訊只需要半秒鐘,比即時音訊快了 595 倍。更重要的是,在實際英文轉寫表現上,它甚至比體積大它數十倍的常見模型還要精準。

把它塞進筆記本,效果還壓過大模型

Bark 3.0 並不是從零訓練的大怪物,它是基於輝達的 parakeet-tdt-0.6b-v3 和 Moondream 的 parakeet-ultra 架構打磨出來的,兩個上游專案均採用 CC-BY 4.0 協議。

開發者這次一共放出了幾個不同版本。除了 163 MB 的標準版 Bark 3.0,還有一個 180 MB 的 Plus 版本,以及一個 1.25 GB 的 Pro 完整精度版本。即使是最大的 Pro 版本,也可以輕鬆塞進絕大多數消費級顯示卡或筆記本記憶體中。

在公開的 Open ASR 基準測試涵蓋的 7 個英文測試集裡,163 MB 的標準版平均詞錯誤率為 4.94%,180 MB 的 Plus 版為 4.76%,Pro 版更是壓到了 4.29%。

作為對比,體積超過 9 GB 的 Whisper large-v3 平均錯誤率是 6.04%,體積 2.5 GB 的輝達 Parakeet TDT 則是 4.94%。也就是說,Bark 3.0 僅用 Whisper 大約五十七分之一的大小,就跑出了更好的識別率。

這種差距在雜亂的會議場景尤為明顯。在 AMI 會議資料集上,Whisper large-v3 的錯誤率高達 13.63%,Parakeet 為 9.42%,而只有 163 MB 的 Bark 3.0 只有 7.82%。

專門過濾廢話的 Clean 版本

人們日常說話從來不會像書面文字那樣規範。日常口語裡塞滿了「um」、「uh」、口誤、重複詞和無意義的口頭禪。

針對這個痛點,Underdog 專門訓練了一個 180 MB 的 Bark 3.0 Clean 版本。當你錄入一段結結巴巴的話,比如「Um, I don-, I can’t think off my head」,它輸出的文字會自動清理成乾淨利落的「I can’t think off my head」。在針對口語結巴的 DisfluencySpeech 評測中,Clean 版本的轉寫錯誤率只有 4.08%。

不過,目前使用 Bark 3.0 也有幾個明顯的侷限。首先是語言支援,它目前僅支援英文,其他語言在官方客戶端裡仍需回退到 Whisper;其次,它目前還不支援逐字時間戳輸出,也沒法在會議記錄中區分不同發言人;此外,早期版本支援的自定義專有名詞詞表,目前也還沒相容 3.0。

怎麼上手

開發者已經把所有權重檔案完整上傳到了 Hugging Face。該系列模型使用允許署名後商用的開源許可證,商用或個人開發都相對自由。

如果你只是想聽聽效果,Hugging Face 上提供了可以直接錄音試用的網頁 Demo,點選轉寫一秒內就能看到文本。如果你想把它部署在自己的本地應用裡,模型頁面底部也附帶了完整的本地執行程式碼和環境配置說明。

為什麼重要

我們認為,Bark 3.0 給端側本地 AI 樹立了一個非常實在的標杆。它證明了在特定任務上,端側模型不需要動輒幾個 GB 甚至幾十 GB 的臃腫體積,百兆級別加上優秀的架構蒸餾,就已經完全能在實用場景裡擊敗龐大的通用模型。

如果你正在開發需要即時聽寫、會議整理或本地隱私保護的桌面工具,只要場景侷限在英文,Bark 3.0 絕對值得現在就拿來替換掉沉重的 Whisper。它既省視訊記憶體又省電,半秒出結果的體驗甚至讓原本需要雲端 API 互動的語音功能,徹底變成了零延遲的本地功能。

來源 (3)

  1. [1]
    huggingface.co(在新分頁開啟)原文huggingface.co
  2. [2]
    underdog.ai(在新分頁開啟)報導underdog.ai
  3. [3]
    youtube.com(在新分頁開啟)報導youtube.com

每日 AI 內容精選