Meta 開源 Omnilingual ASR：支援 1600 種語言，改用 Apache 許可

Omnilingual ASR 是 Meta 開源的多語言自動語音識別模型家族，可以直接把 1600 多種語言的語音轉錄成文字。

作為對比，業界常用的 OpenAI 開源模型 Whisper 只支援 99 種語言。在 Omnilingual ASR 原生支援的 1600 多種語言中，有超過 500 種此前從未被任何語音識別系統覆蓋過。

零樣本擴充套件到 5400 種語言

除了原生訓練覆蓋的語種，Omnilingual ASR 還帶來了一種靈活的擴充套件機制。它把大語言模型裡的上下文學習搬到了語音識別中，官方稱之為「自帶語言」功能。

這意味著你不需要重新微調或者訓練模型。在推理呼叫時，只要給模型喂幾個新語言的音訊和對應文字配對，它就能當場學會轉錄這種新語言的其他語音。

通過這種零樣本能力，該系統的潛在覆蓋範圍擴充套件到了 5400 多種語言，基本涵蓋了目前所有擁有文字記錄的人類口語。

規格與準確表現

整個模型套件基於 1600 多種語言、超過 430 萬小時的音訊資料訓練，底層使用 PyTorch 和 Meta 的 fairseq2 框架構建。

模型尺寸覆蓋了輕量級到大規模。其中既有針對低功耗端側裝置的 3 億引數輕量版，也有追求極致準確率的 70 億引數大模型。架構上包含了用於自監督語音表徵的 wav2vec 2.0、高效監督轉錄的 CTC 模型，以及結合 Transformer 文本解碼器的 LLM-ASR 結構。

識別質量方面，在官方測試的 1600 多種語言中，78% 的語言字元錯誤率低於 10%。對於訓練資料超過 10 小時的語種，達到這一標準的比例上升到 95%。即便是訓練音訊不到 10 小時的低資源長尾語言，也有 36% 達到了該標準。

開源許可權上，這次 Meta 徹底摒棄了此前用於 Llama 家族、限制大企業使用的受限協議，全面採用標準的 Apache 2.0 許可證。開發者和企業完全可以免費用於商業專案，沒有任何商用門檻。

除了模型權重和程式碼，Meta 還同步開源了涵蓋 350 種稀缺語種的語音語料庫，採用 CC-BY 許可。目前程式碼已託管在 GitHub，權重已在 Meta 官網開放，技術論文同步上線，Hugging Face 上也提供了可直接測試的網頁 Demo。

為什麼重要

如果你正在開發需要出海多語種支援的產品、做小語種口述檔案數字化，或者尋找可以離線商用的語音轉錄底座，現在就可以直接下載體驗。它徹底填補了全球數千種長尾語言長期缺乏 AI 工具的空白。

我們認為，Meta 這次改用完全無限制的 Apache 2.0 是極其明智的動作。此前帶有門檻的開源協議曾讓不少企業望而卻步，而徹底開放加上零樣本示例擴充套件的能力，很可能讓 Omnilingual ASR 取代 Whisper，成為開源語音轉錄事實上的通用基礎設施。不過對於極低資源的語言，僅靠幾條樣本推斷時的識別質量仍然無法比擬充分訓練的系統，實際落地前仍需根據具體場景驗證。