Mistral 開源語音模型 Voxtral：超越 Whisper，支援語音直調函式

Voxtral 是 Mistral AI 開源的語音理解模型系列，包含 24B 和 3B 兩個版本，全部採用寬鬆的 Apache 2.0 許可證。它不是單純的語音轉文字工具，而是把語音識別和語義理解做在了一起，讓你能直接對著長音訊提問、生成摘要，甚至靠說話直接觸發系統操作。

它能做什麼

以往做語音應用，基本都要先用 Whisper 這類工具把語音轉成文字，再丟給大語言模型去理解。鏈路一長，延遲高不說，轉錄裡丟掉的情緒和上下文也很難補救。Voxtral 把這兩步並在了一起。

它的上下文長度達到 32k token，單次可以轉錄最長 30 分鐘的音訊，或者處理 40 分鐘的音訊內容理解。你可以直接丟進去半小時的會議錄音，讓它整理要點或回答某個具體細節。

最實用的是語音直接呼叫函式。使用者只要開口說話，模型就能根據語音意圖直接觸發後端的 API 呼叫或系統指令，中間完全不需要先把語音轉成文本再做正則解析。

模型原生支援英語、法語、西班牙語、德語、義大利語、葡萄牙語、荷蘭語和印地語等多語言自動識別。因為底層底座是 Mistral Small 3.1，它還保留了完整的文本處理能力，可以直接當成通用語言模型來用。

規格與上手門檻

這次開源的有兩個尺寸。大號的 Voxtral 引數量為 24B，適合跑在企業級的生產環境；小號的 Voxtral Mini 只有 3B，專門給本地裝置和邊緣計算場景準備。

轉錄表現上，Voxtral 全面擊敗了現在的開源主力 Whisper large-v3，在多項測試裡也超過了 GPT-4o mini Transcribe 和 Gemini 2.5 Flash。官方基準顯示，Voxtral Small 的表現打平了 ElevenLabs Scribe，但 API 成本還不到後者的一半。

想自己部署的話，24B 和 3B 的權重都已經在 Hugging Face 上放開下載，商用完全免費。如果不想自己搭顯示卡，官方 API 也已上線，包含一個專門最佳化過轉錄速度的 Voxtral Mini Transcribe，呼叫起步價只要每分鐘 0.001 美元。Mistral 網頁端和 App 裡的 Le Chat 語音模式也會在未來幾週對所有使用者開放。

為什麼重要

如果你的業務一直被 Whisper 的錯詞率困擾，或者想做語音 Agent 但覺得閉源商業 API 太貴、資料出境有合規風險，Voxtral 是目前最值得立刻拿來替換的開源方案。它把多階段的語音流水線壓成了一個端到端模型，成本和延遲都有明顯優勢。

當然它現在也有不足。說話人分離、情緒識別、年齡標記以及詞級時間戳這類更精細的音訊特徵，還需要等官方後續更新。但單就直接從語音執行函式和長音訊理解來看，開源語音賽道終於有了一個能打平商業頂級閉源方案的底座。