Mistral 釋出 Voxtral 3:打通聽想說全流程,支援 50 多種語言
Mistral 釋出 Voxtral 3 語音模型系列與語音智慧體 SDK。它將轉寫、推理、工具呼叫與語音合成打通為即時流式管線,單輪響應低於 1 秒。模型支援超 50 種語言轉寫與情緒自適應朗讀,支援私有化部署。
給客服打過電話的人大概都有過這種體驗:電話那頭的機器音要麼聽不懂你的方言,要麼在你還沒說完半句話時就搶著插話,最後還得人工轉接一遍。
做端到端語音助手向來是個髒活累活。把聽懂、思考、調介面和說話串在一起,任何一個環節掉鏈子,整個對話就會變得無比彆扭。
Mistral 釋出了全新的語音模型家族與語音智慧體開發套件 Voxtral 3。這套工具把語音識別、大模型推理、工具呼叫和語音合成打通成一條即時流式管線,讓電話或網頁裡的 AI 對話能在 1 秒內完成一輪互動。
聽得準,還要分得清誰在說
語音互動的第一關是聽。這次 Mistral 端出了 Voxtral Small Transcribe 3,支援超過 50 種語言,包括 24 種歐盟官方語言以及多種低資源亞洲和印度語言。在官方測試中,它在英語、法語和西班牙語的識別以及說話人分離(diarization)上,超越了 Whisper、Scribe v2 和 Gemini 3.5 Transcribe。
對於業務場景很關鍵的術語,它支援上下文偏置(context biasing),不用專門微調,輸入特定詞彙表就能準確識別專業黑話。其中 40 億引數的 Mini 版本轉寫單價定在每分鐘 0.0035 美元。即時版本 Voxtral Realtime Transcribe 3 則把 35 種以上語言的識別延遲壓到了 500 毫秒以內。
更細節的地方在於「斷句預測」。它結合了聲音訊號和語義內容來判斷使用者究竟是說完了還是中途停頓,大幅降低了機器搶話或過早掐斷通話的尷尬。
會看語境換語氣,還能私有部署
說完聽,就是說了。Voxtral Mini TTS 3 支援 35 種以上語言和 50 多種方言,定價是每百萬字元 13 美元。Mistral 表示這個價格低於 OpenAI 的 TTS-1、Deepgram、ElevenLabs Flash 和 Gemini Flash。
這顆語音合成模型能直接根據文本上下文推斷說話情緒,調整語速、重音和停頓,不用開發者專門寫長串的情感提示詞。針對企業定製,Voxtral 提供了 Pro Voice 功能,用 30 分鐘的錄音就能跨語言復刻特定講話者的音色和說話風格。
配合基於 LiveKit 構建的 SDK,語音智慧體可以在通話中直接讀取系統資訊、觸發多步工作流,比如幫看病掛號或改簽機票。整套系統既可以通過 Mistral 位於歐盟的雲端 API 呼叫,也支援企業直接拉回自己的基礎設施私有部署,通話記錄完全不外流。
為什麼重要
對於想做電話客服、工單助手或車載語音的團隊來說,Voxtral 3 最實在的價值是省錢和省心。每分鐘不到半分錢的識別成本,加上每百萬字元 13 美元的語音合成,比以往東拼西湊 OpenAI、ElevenLabs 和 Deepgram 便宜不少,而且用一套 SDK 就把工具呼叫和打斷邏輯打通了,不用自己拿開源元件硬縫低延遲管線。
對企業市場而言,它踩中最準的一點是「資料主權」。在歐洲和很多金融、醫療場景,語音資料出境或上傳到第三方公共雲往往直接踩法律紅線。Mistral 既有歐盟本土託管的 API,又允許私有化部署並關掉資料留存,這直接切中了一大批合規敏感客戶的痛點。
我們認為,Mistral 這次聰明的做法是避開了大模型的引數內捲,轉頭去補齊實際落地中最瑣碎的工程短板。像說話人分離、術語偏置、語義級停頓判斷,都是實際業務落地時極其折磨開發者的細節。不過,全套工作流跑在自建算力上的資源開銷到底有多大,以及在網路不穩定時 sub-second 的端到端響應能否穩住,仍然需要開發者在真實生產環境裡跑一跑才能下結論。
來源 (1)
- mistral.ai(在新分頁開啟)原文mistral.ai