跳到正文
IFAI

AI工具

ElevenLabs 推出语音转文本模型 Scribe:支持 99 种语言,准确率超 Whisper

首次发布 传播指数 40

ElevenLabs 推出首个语音转文字模型 Scribe。该模型支持 99 种语言转录,提供词级时间戳、说话人分离及笑声等非语音事件标记,基准测试表现超过 Whisper Large V3。目前已开放 API 和网页端,低延迟实时版本即将上线。

ElevenLabs 推出语音转文本模型 Scribe:支持 99 种语言,准确率超 Whisper
图:elevenlabs.io

过去两年,靠着几乎能以假乱真的 AI 拟声技术,ElevenLabs 几乎成了语音合成领域的代名词。但大家都在猜,它什么时候才会把听觉补齐。

这家语音独角兽正式推出了自己的第一款语音转文字模型 Scribe。用他们自己的话说,这是目前全球最精准的转录模型。

专挑难啃的小语种下手

Scribe 一上来就支持 99 种语言。转录输出的是结构化的 JSON 数据,自带词级时间戳、说话人分离,甚至还能给非语音事件打标签,比如在文本里直接标出某处有笑声。

在精准度上,ElevenLabs 拿它和当下的几个主力选手硬碰硬。在 FLEURS 和 Common Voice 两大基准测试中,Scribe 在 99 种语言上的表现都压过了 Whisper Large V3、Gemini 2.0 Flash 以及 Deepgram Nova-3。

官方数据显示,它在意大利语中的转录表现达到 98.7%,英语达到 96.7%。无论是整理会议纪要、生成电影字幕还是扒歌词,错误率都创下了新低。

更有意思的是小语种和方言。像塞尔维亚语、粤语、马拉雅拉姆语这些过去常被大模型敷衍的语言,竞品的字词错误率往往会飙过 40%,而 Scribe 在这几门语言上的错误率出现了断崖式下降。

开发者今天就能调,实时版还在路上

目前开发者已经可以通过 ElevenLabs 的 Speech to Text API 调用 Scribe。返回的数据不仅分清了谁在说话,还给每个词都打好了毫秒级的时间线。

对于创作者和企业,ElevenLabs 的控制台也已经上线了直接上传音视频生成排版字幕的功能,不需要写代码就能用。

不过,目前开放的版本主要针对离线音频处理。ElevenLabs 表示,面向实时交互场景的低延迟版本还要再等一等,很快才会推出。

为什么重要

我们认为,这是 ElevenLabs 商业版图里必须补上、也是最关键的一块拼图。

过去 ElevenLabs 只有嘴巴(TTS),做 Conversational AI(语音智能体)时,开发者必须在外面接 OpenAI 的 Whisper 或 Deepgram 来做耳朵,中间的网络跳转和格式转换既增加延迟又增加成本。Scribe 一出,ElevenLabs 终于能给开发者提供自家的全栈语音闭环了。

对创作者和开发者来说,现在值不值得用?如果你的业务重度依赖字幕切分、需要准确识别人声和背景笑声,或者受够了粤语等非主流语种的高错误率,现在的 Scribe 完全值得换上去试试。词级时间戳和事件标记能省掉大量后期校对的时间。

但它最大的隐患也很明显:实时版还没就绪。语音交互最卷的战场从来不是离线转录,而是低延迟的打断和对话。在低延迟版本正式跑通之前,Deepgram 等深耕实时转录的对手在电话客服和实时助理领域依然握有护城河。ElevenLabs 这一仗打得很准,但真正的硬仗还在后头。

来源 (1)

  1. [1]
    elevenlabs.io(在新标签页打开)原文elevenlabs.io

话题追踪ElevenLabs Scribe 市场竞争

这个话题的历次新闻,最新的在上面。

  1. ElevenLabs 语音转文字降价 45%:Scribe 模型限时免费
  2. ElevenLabs 推出语音转文本模型 Scribe:支持 99 种语言,准确率超 Whisper本条

每日 AI 内容精选