跳到正文
IFAI

开源项目

Cohere 开源语音模型 Transcribe:2B 参数可本地跑,支持 14 种语言

首次发布 传播指数 55

Cohere 开源首个语音识别模型 Transcribe。该模型参数量为 20 亿,支持消费级 GPU 本地运行,每分钟可处理 525 分钟音频,涵盖中英日等 14 种语言。其在 Open ASR 榜单字错率为 5.42,同时 Cohere 还提供免费 API 接入。

Cohere 开源语音模型 Transcribe:2B 参数可本地跑,支持 14 种语言
图:techcrunch.com

Cohere Transcribe 是一个轻量级开源语音识别模型,能帮你把会议记录、日常访谈或播客音频快速转写成文字。

它只有 20 亿(2B)参数,对硬件要求很低,在普通的消费级显卡上就能直接本地跑起来,不需要把敏感音频上传到云端。

它能做什么与硬件规格

Transcribe 专为实际生产环境下的转录任务打造,目前支持 14 种语言,包括中文、英语、日语、韩语、法语、德语、西班牙语、越南语和阿拉伯语等。

除了占用资源小,它的处理速度极快。官方数据显示它每分钟可以处理 525 分钟的音频,换算下来,几个小时的会议录音在十几秒内就能完成转写。

由于参数规模控制在 2B,个人开发者拿一张普通的消费级 GPU 就能完成离线部署,适合用来做本地笔记应用或私密语音分析工具。

架构与实测表现

技术架构上,Transcribe 采用了 Conformer 编码器搭配轻量 Transformer 解码器的结构。它将输入的音频波形转化为 log-Mel 频谱,再由模型从头训练的跨熵目标生成文字 token。

在 Hugging Face 的 Open ASR 评测基准中,Transcribe 以 5.42 的平均字错率(WER)拿下总榜第一,成绩超过了 Zoom Scribe v1、IBM Granite 4.0 1B、ElevenLabs Scribe v2 以及 Whisper Large v3。在多人会议和带口音的复杂声学场景下,它的稳定性表现亮眼。

在人工评测中,针对准确度、连贯性与可用性的对比,Transcribe 取得了 61% 的综合胜率。不过它也有短板:官方测试表明,在处理葡萄牙语、德语和西班牙语时,它的转录表现落后于部分同类竞品。

怎么用上它

Transcribe 采用 Apache 2.0 许可证开源,权重文件已经可以在 Hugging Face 上直接下载部署。

如果你不想自己维护硬件环境,Cohere 也在官方 API 中开放了该模型的免费调用通道。此外,该模型还会上线托管推理平台 Model Vault,并接入 Cohere 旗下的企业智能体编排平台 North。

为什么重要

对于正在做语音笔记、实时转录或客服分析的开发者来说,Transcribe 提供了一个性价比极高的端侧解法。过去要达到这个级别的准确率往往需要动用 Whisper Large 这种笨重的模型,而 Transcribe 仅用 2B 参数就刷下了更低的错误率,加上开源商用友好的 Apache 2.0 协议,几乎可以无缝平替现有的本地 ASR 方案。

但如果你的业务场景重度依赖德语、西班牙语或葡萄牙语,我们建议不要盲目全量迁移。它在小语种上的短板客观存在,上线前最好先拿自己的真实业务录音跑一次对比测试。

来源 (2)

  1. [1]
    techcrunch.com(在新标签页打开)原文techcrunch.com
  2. [2]
    cohere.com(在新标签页打开)报道cohere.com

每日 AI 内容精选