跳到正文
IFAI

大模型

Mistral 发布 Voxtral 3:打通听想说全流程,支持 50 多种语言

首次发布 传播指数 53

Mistral 发布 Voxtral 3 语音模型系列与语音智能体 SDK。它将转写、推理、工具调用与语音合成打通为实时流式管线,单轮响应低于 1 秒。模型支持超 50 种语言转写与情绪自适应朗读,支持私有化部署。

图:mistral.ai

给客服打过电话的人大概都有过这种体验:电话那头的机器音要么听不懂你的方言,要么在你还没说完半句话时就抢着插话,最后还得人工转接一遍。

做端到端语音助手向来是个脏活累活。把听懂、思考、调接口和说话串在一起,任何一个环节掉链子,整个对话就会变得无比别扭。

Mistral 发布了全新的语音模型家族与语音智能体开发套件 Voxtral 3。这套工具把语音识别、大模型推理、工具调用和语音合成打通成一条实时流式管线,让电话或网页里的 AI 对话能在 1 秒内完成一轮交互。

听得准,还要分得清谁在说

语音交互的第一关是听。这次 Mistral 端出了 Voxtral Small Transcribe 3,支持超过 50 种语言,包括 24 种欧盟官方语言以及多种低资源亚洲和印度语言。在官方测试中,它在英语、法语和西班牙语的识别以及说话人分离(diarization)上,超越了 Whisper、Scribe v2 和 Gemini 3.5 Transcribe。

对于业务场景很关键的术语,它支持上下文偏置(context biasing),不用专门微调,输入特定词汇表就能准确识别专业黑话。其中 40 亿参数的 Mini 版本转写单价定在每分钟 0.0035 美元。实时版本 Voxtral Realtime Transcribe 3 则把 35 种以上语言的识别延迟压到了 500 毫秒以内。

更细节的地方在于「断句预测」。它结合了声音信号和语义内容来判断用户究竟是说完了还是中途停顿,大幅降低了机器抢话或过早掐断通话的尴尬。

会看语境换语气,还能私有部署

说完听,就是说了。Voxtral Mini TTS 3 支持 35 种以上语言和 50 多种方言,定价是每百万字符 13 美元。Mistral 表示这个价格低于 OpenAI 的 TTS-1、Deepgram、ElevenLabs Flash 和 Gemini Flash。

这颗语音合成模型能直接根据文本上下文推断说话情绪,调整语速、重音和停顿,不用开发者专门写长串的情感提示词。针对企业定制,Voxtral 提供了 Pro Voice 功能,用 30 分钟的录音就能跨语言复刻特定讲话者的音色和说话风格。

配合基于 LiveKit 构建的 SDK,语音智能体可以在通话中直接读取系统信息、触发多步工作流,比如帮看病挂号或改签机票。整套系统既可以通过 Mistral 位于欧盟的云端 API 调用,也支持企业直接拉回自己的基础设施私有部署,通话记录完全不外流。

为什么重要

对于想做电话客服、工单助手或车载语音的团队来说,Voxtral 3 最实在的价值是省钱和省心。每分钟不到半分钱的识别成本,加上每百万字符 13 美元的语音合成,比以往东拼西凑 OpenAI、ElevenLabs 和 Deepgram 便宜不少,而且用一套 SDK 就把工具调用和打断逻辑打通了,不用自己拿开源组件硬缝低延迟管线。

对企业市场而言,它踩中最准的一点是「数据主权」。在欧洲和很多金融、医疗场景,语音数据出境或上传到第三方公共云往往直接踩法律红线。Mistral 既有欧盟本土托管的 API,又允许私有化部署并关掉数据留存,这直接切中了一大批合规敏感客户的痛点。

我们认为,Mistral 这次聪明的做法是避开了大模型的参数内卷,转头去补齐实际落地中最琐碎的工程短板。像说话人分离、术语偏置、语义级停顿判断,都是实际业务落地时极其折磨开发者的细节。不过,全套工作流跑在自建算力上的资源开销到底有多大,以及在网络不稳定时 sub-second 的端到端响应能否稳住,仍然需要开发者在真实生产环境里跑一跑才能下结论。

来源 (1)

  1. [1]
    mistral.ai(在新标签页打开)原文mistral.ai

每日 AI 内容精选