跳到正文
IFAI

开源项目

Mistral 发布 Voxtral Transcribe 2:4B 实时模型开源,延迟进 200ms

首次发布 传播指数 63

今天,Mistral AI 发布语音转文字模型家族 Voxtral Transcribe 2。其中 4B 参数的实时模型 Voxtral Realtime 采用 Apache 2.0 开源权重,支持端侧部署且延迟可调至 200ms 以内;批量模型成本仅 0.003 美元每分钟,覆盖 13 种语言并支持说话人区分。

Mistral 发布 Voxtral Transcribe 2:4B 实时模型开源,延迟进 200ms
图:the-decoder.com

Voxtral Realtime 是 Mistral 刚开源的一款 4B 参数端侧语音转文字模型,主打超低延迟的实时流式转录。

它采用 Apache 2.0 许可证放出了全部模型权重,可以直接部署在本地设备上运行。对于想要自己搭建语音助手、实时字幕或者需要保证音频隐私的开发者来说,不需要把录音传到云端就能直接跑起来。

原生流式架构,延迟压进 200 毫秒

大多数离线语音模型做实时转录时,往往是把音频按几秒切成小段再送去识别。Voxtral Realtime 则换了一套原生的流式架构,音频流一边进来模型就一边吐字。

它的识别延迟可以灵活调节,极限状态下延迟能压到 200 毫秒以下。在 480 毫秒的延迟配置下,它在 FLEURS 评测里的字错误率仅比离线模型多出 1% 到 2%;如果把延迟放宽到 2.4 秒用来做实时字幕,它的识别质量就能完全追平同代的离线批量模型。

模型原生支持 13 种语言,包括中文、英语、德语、日语、韩语、西班牙语和阿拉伯语等。4B 的参数体量刚好能塞进消费级硬件或边缘设备,兼顾了速度与识别精度。

批量版本打到每分钟 0.003 美元

除了开源的 Realtime,Mistral 这一代还同步推出了闭源的批量转录模型 Voxtral Mini Transcribe V2。这个版本专门处理长录音,走云端 API 调用,价格压到了每分钟 0.003 美元。

Mini V2 在 FLEURS 上的字错误率约 4%,据 Mistral 公布的数据,其精度超过了 GPT-4o mini Transcribe、Gemini 2.5 Flash 和 Deepgram Nova。相比 ElevenLabs 的 Scribe v2,它的转录速度快了约 3 倍,成本只有后者的五分之一。

在功能上,它支持单次长达 3 小时的录音文件,具备词级时间戳,并支持说话人区分功能。不过在多人同时抢话重叠时,模型通常只能记录其中一位的声音。此外它还提供了上下文偏置功能,用户可以预先喂给它最多 100 个专业术语或人名来提高拼写正确率,目前该功能在英语上表现最好,其他语言还处于实验阶段。

想自己部署实时模型的开发者,现在就可以去 Hugging Face Hub 下载 Voxtral Realtime 的权重。如果只是想先试听效果,Mistral Studio 里已经上线了音频 Playground,支持上传最高 1GB 的各类主流音频文件直接测试。

为什么重要

做实时语音交互和 AI 智能体的人,非常值得第一时间去拉下这个 4B 权重试一试。过去开源语音识别里 Whisper 统治力很强,但 Whisper 本质上是块状离线架构,强行切片做实时不仅延迟高,句子断点也很别扭。Voxtral Realtime 用原生流式把延迟做到 200 毫秒以内,正好填补了高品质、可商用本地流式模型的空白。

同时,Mistral 把批量模型的价格砸到每分钟 0.003 美元,直接对云端语音转录服务商形成了巨大压力。无论是想极低成本处理存量会议录音,还是想在本地硬件上搭私密、实时的语音助手,这套组合拳都给出了目前性价比极高的选择。

来源 (3)

  1. [1]
    venturebeat.com(在新标签页打开)原文venturebeat.com
  2. [2]
    mistral.ai(在新标签页打开)报道mistral.ai
  3. [3]

每日 AI 内容精选