跳到正文
IFAI

開源專案

Moonshine 開放語音模型:2 億引數端側即時跑,字誤率超越 Whisper

首次發布 傳播指數 68

Moonshine AI 釋出開放權重的 Moonshine Voice 語音轉文字模型,支援在 iOS、Android 和樹莓派等裝置端即時執行。其 2 億引數流式模型引數量比 Whisper Large v3 小 7.5 倍,字誤率卻更低,還內建了語音活動檢測和意圖識別功能。

圖:youtube.com

Moonshine Voice 是 Moonshine AI 剛釋出的開放權重語音轉文字(STT)模型,專門為了在裝置端即時執行而設計。它不需要依賴雲端介面,可以直接在 Python、iOS、Android 甚至樹莓派(Raspberry Pi)上跑起來。

它能做什麼

這個模型最突出的地方在於體積與精度的反差。它的流式模型引數量只有 2 億,比 Whisper Large v3 小了 7.5 倍,但在字誤率表現上反而超越了後者。

在語言支援上,它覆蓋了普通話、英語、西班牙語、日語、韓語等多種語言。除了基礎的語音轉文字,模型內部還直接集成了語音活動檢測(VAD)以及語音指令的意圖識別能力。

為什麼重要

如果你在開發移動端應用、智慧硬體,或者想在樹莓派上搭建完全離線的語音助手,Moonshine Voice 很值得現在就去試一試。過去在端側跑 Whisper 往往要在視訊記憶體佔用和延遲之間痛苦妥協,或者只能轉向雲端 API。

Moonshine 用更小的體積拿出了超越大模型的字誤率,還順手打包了意圖識別等實用模組。我們認為,這種把輕量化和端到端互動打包整合的思路,會讓離線語音應用的門檻大幅降低。

來源 (3)

  1. [1]
  2. [2]
  3. [3]

每日 AI 內容精選