Mistral 釋出 Voxtral Transcribe 2:4B 即時模型開源,延遲進 200ms
今天,Mistral AI 釋出語音轉文字模型家族 Voxtral Transcribe 2。其中 4B 引數的即時模型 Voxtral Realtime 採用 Apache 2.0 開源權重,支援端側部署且延遲可調至 200ms 以內;批次模型成本僅 0.003 美元每分鐘,覆蓋 13 種語言並支援說話人區分。

Voxtral Realtime 是 Mistral 剛開源的一款 4B 引數端側語音轉文字模型,主打超低延遲的即時流式轉錄。
它採用 Apache 2.0 許可證放出了全部模型權重,可以直接部署在本地裝置上執行。對於想要自己搭建語音助手、即時字幕或者需要保證音訊隱私的開發者來說,不需要把錄音傳到雲端就能直接跑起來。
原生流式架構,延遲壓進 200 毫秒
大多數離線語音模型做即時轉錄時,往往是把音訊按幾秒切成小段再送去識別。Voxtral Realtime 則換了一套原生的流式架構,音訊流一邊進來模型就一邊吐字。
它的識別延遲可以靈活調節,極限狀態下延遲能壓到 200 毫秒以下。在 480 毫秒的延遲配置下,它在 FLEURS 評測裡的字錯誤率僅比離線模型多出 1% 到 2%;如果把延遲放寬到 2.4 秒用來做即時字幕,它的識別質量就能完全追平同代的離線批次模型。
模型原生支援 13 種語言,包括中文、英語、德語、日語、韓語、西班牙語和阿拉伯語等。4B 的引數體量剛好能塞進消費級硬體或邊緣裝置,兼顧了速度與識別精度。
批次版本打到每分鐘 0.003 美元
除了開源的 Realtime,Mistral 這一代還同步推出了閉源的批次轉錄模型 Voxtral Mini Transcribe V2。這個版本專門處理長錄音,走雲端 API 呼叫,價格壓到了每分鐘 0.003 美元。
Mini V2 在 FLEURS 上的字錯誤率約 4%,據 Mistral 公佈的資料,其精度超過了 GPT-4o mini Transcribe、Gemini 2.5 Flash 和 Deepgram Nova。相比 ElevenLabs 的 Scribe v2,它的轉錄速度快了約 3 倍,成本只有後者的五分之一。
在功能上,它支援單次長達 3 小時的錄音檔案,具備詞級時間戳,並支援說話人區分功能。不過在多人同時搶話重疊時,模型通常只能記錄其中一位的聲音。此外它還提供了上下文偏置功能,使用者可以預先餵給它最多 100 個專業術語或人名來提高拼寫正確率,目前該功能在英語上表現最好,其他語言還處於實驗階段。
想自己部署即時模型的開發者,現在就可以去 Hugging Face Hub 下載 Voxtral Realtime 的權重。如果只是想先試聽效果,Mistral Studio 裡已經上線了音訊 Playground,支援上傳最高 1GB 的各類主流音訊檔案直接測試。
為什麼重要
做即時語音互動和 AI 智慧體的人,非常值得第一時間去拉下這個 4B 權重試一試。過去開源語音識別裡 Whisper 統治力很強,但 Whisper 本質上是塊狀離線架構,強行切片做即時不僅延遲高,句子斷點也很彆扭。Voxtral Realtime 用原生流式把延遲做到 200 毫秒以內,正好填補了高品質、可商用本地流式模型的空白。
同時,Mistral 把批次模型的價格砸到每分鐘 0.003 美元,直接對雲端語音轉錄服務商形成了巨大壓力。無論是想極低成本處理存量會議錄音,還是想在本地硬體上搭私密、即時的語音助手,這套組合拳都給出了目前價效比極高的選擇。
來源 (3)
- venturebeat.com(在新分頁開啟)原文venturebeat.com
- mistral.ai(在新分頁開啟)報導mistral.ai
- the-decoder.com(在新分頁開啟)報導the-decoder.com