Moonshine 開放語音模型:2 億引數端側即時跑,字誤率超越 Whisper
Moonshine AI 釋出開放權重的 Moonshine Voice 語音轉文字模型,支援在 iOS、Android 和樹莓派等裝置端即時執行。其 2 億引數流式模型引數量比 Whisper Large v3 小 7.5 倍,字誤率卻更低,還內建了語音活動檢測和意圖識別功能。
Moonshine Voice 是 Moonshine AI 剛釋出的開放權重語音轉文字(STT)模型,專門為了在裝置端即時執行而設計。它不需要依賴雲端介面,可以直接在 Python、iOS、Android 甚至樹莓派(Raspberry Pi)上跑起來。
它能做什麼
這個模型最突出的地方在於體積與精度的反差。它的流式模型引數量只有 2 億,比 Whisper Large v3 小了 7.5 倍,但在字誤率表現上反而超越了後者。
在語言支援上,它覆蓋了普通話、英語、西班牙語、日語、韓語等多種語言。除了基礎的語音轉文字,模型內部還直接集成了語音活動檢測(VAD)以及語音指令的意圖識別能力。
為什麼重要
如果你在開發移動端應用、智慧硬體,或者想在樹莓派上搭建完全離線的語音助手,Moonshine Voice 很值得現在就去試一試。過去在端側跑 Whisper 往往要在視訊記憶體佔用和延遲之間痛苦妥協,或者只能轉向雲端 API。
Moonshine 用更小的體積拿出了超越大模型的字誤率,還順手打包了意圖識別等實用模組。我們認為,這種把輕量化和端到端互動打包整合的思路,會讓離線語音應用的門檻大幅降低。
來源 (3)
- petewarden.com(在新分頁開啟)原文petewarden.com
- github.com(在新分頁開啟)報導github.com
- news.ycombinator.com(在新分頁開啟)討論news.ycombinator.com