跳到正文
IFAI

開源專案

體積僅 164MB:開源語音識別模型 Phonon-2 登頂同量級榜單

首次發布 傳播指數 48

Fermion Research 開源輕量級語音識別模型 Phonon-2。該模型僅 164MB,基於 NVIDIA Parakeet 最佳化,平均字錯誤率僅 5.21%,在 M5 MacBook Air 上轉錄 1 小時音訊只需 20 秒,適合在本地端側直接部署。

體積僅 164MB:開源語音識別模型 Phonon-2 登頂同量級榜單
圖:huggingface.co

Phonon-2 是 Fermion Research 開源的超輕量英語語音識別模型,整個模型下載體積只有 164MB,專為本地裝置和端側執行設計。

如果你需要離線把錄音轉成文字,又不想為了跑大模型給電腦加顯示卡或佔用幾個 G 的儲存空間,它就是目前能找到最輕巧且精準的選擇之一。在 Mac 聽寫應用 Detta 內部,驅動聽寫功能的正是這個模型。

它能做什麼

雖然下載體積壓縮到了 164MB,但 Phonon-2 在英語語音識別基準上的表現幾乎沒有縮水。

它基於 NVIDIA 的 2.5GB 全精度模型 parakeet-tdt-0.6b-v3 最佳化而來,體積縮小了將近 15 倍。在 Open ASR Leaderboard 的 7 個英語測試集上,它的平均字錯誤率僅為 5.21%,僅略低於原版大模型的 4.96%。在議會演講場景中,它的詞準確率達到了原模型的 100.8%,在會議錄音場景的識別表現甚至直接超過了原版基模型。

橫向對比同類模型,Phonon-2 擊敗了體積遠大於它的競爭對手。作為對比,體積 1.6GB 的 Whisper large-v3-turbo 平均字錯誤率為 6.58%,約 8GB 的 Voxtral Mini 4B Realtime 為 6.12%,上一代 415MB 的 Phonon-1 則是 6.56%。在 900MB 以下的開源英語語音識別模型裡,它是目前公開評測成績最好的一款。

轉錄速度方面,它在日常輕薄本上就能極速執行。在 M5 MacBook Air 上,Phonon-2 轉錄 1 小時音訊大約只需要 20 秒,速度相當於即時的 174 倍。在 8 核 Zen 5 處理器(16 vCPU)上能達到 143 倍即時速度。如果放進資料中心的單張 H100 顯卡里進行批處理,轉錄速度甚至可以飆升至即時的 6680 倍。

怎麼跑起來

Phonon-2 對本地執行環境的支援很全面,不需要複雜的配置門檻。

在蘋果裝置上,它支援 MLX 框架,能夠直接呼叫 Apple Silicon 的硬體加速,同時官方還提供了適配神經引擎的 Core ML 版本。執行轉錄命令時加上引數,就能直接輸出帶逐字起止時間戳的 JSON 資料。

在其他系統上,它提供了支援 Android arm64-v8a 架構的 CPU 引擎庫與 C 標頭檔案,並支援 Linux 和 Windows。開發者也可以直接拉取官方提供的 CPU 或 GPU 版 Docker 映象一鍵執行。

開源協議方面,模型權重沿用原版模型的 CC-BY-4.0 許可證,命令列工具和倉庫程式碼則採用 Apache 2.0 許可證。想先體驗效果的使用者,也可以直接在 Hugging Face 頁面找到免費的 Space 演示進行線上試用。

為什麼重要

我們認為,Phonon-2 證明了高精度端側語音識別不需要盲目堆砌引數量。以往在本地做語音轉文字,開發者要麼被迫忍受小型模型糟糕的識別率,要麼只能塞進數個 G 的 Whisper 變體,嚴重消耗記憶體和電量。

如果你正在開發需要離線語音聽寫、會議記錄或影片字幕提取的桌面與移動應用,Phonon-2 非常值得立刻替換進來測試。不到 200MB 的體積加上極快的推理速度,意味著哪怕是在低功耗輕薄本或手機端,它也能實現完全不卡頓的即時轉寫體驗。不過需要注意,它目前主要專注於英語場景,如果你有大體量的多語言轉錄需求,依然需要依賴其他大型多語言模型。

來源 (1)

  1. [1]
    huggingface.co(在新分頁開啟)原文huggingface.co

每日 AI 內容精選