跳到正文
IFAI

开源项目

CrisperWhisper 2.0 开源:支持逐字与润色双模式,词级误差仅 30 毫秒

首次发布 传播指数 48

nyra labs 开源语音转文本模型 CrisperWhisper 2.0,支持在保留口癖与笑声的逐字模式,以及自动润色的意图模式之间自由切换。模型词级对齐误差低至 30 毫秒,最小版本仅 2 亿参数,无需 GPU 即可在普通设备上运行。

CrisperWhisper 2.0 开源:支持逐字与润色双模式,词级误差仅 30 毫秒
图:nyra-labs.com

CrisperWhisper 2.0 是 nyra labs 开源的一套语音转文字模型,专门解决转录工具里最让人头疼的二选一难题:你到底是想要一字不差的真实记录,还是一份看起来干干净净的成稿。

普通语音识别工具往往把这两件事混在一起,同一句语气词有时记、有时扔。CrisperWhisper 2.0 把这个选择权做成了一个开关,直接提供两种输出模式。

它能做什么

开启「逐字模式」,模型会老老实实记下所有内容,包括说话人的口癖、结巴、重复、笑声标签以及半路改口的断句。这在医疗问诊记录、法庭取证或者做口语分析时特别管用。

切换到「意图模式」,它就会自动抹去所有的犹豫和语气助词,顺便把口述的数字、日期和邮箱排版规整,直接输出适合阅读的润色文本。

除了转录模式可调,它的词级时间戳精度极高。很多模型给出的时间戳会有几百毫秒的漂移,而 CrisperWhisper 2.0 在朗读语音测试中的平均词边界误差只有 29.6 毫秒,日常对话场景也只有 40.6 毫秒。在官方基准测试里,这一成绩超过了 ElevenLabs Scribe v2 和 xAI 的转录服务。

针对长音频,它抛弃了 Whisper 原版靠时间戳标记切片拼接的做法,改用条件续写机制,把上一段末尾的几个词交给下一个音频窗口。这样不仅推理速度更快,还消除了接缝处的吞字和重复,并有效压制了 Whisper 常见的死循环幻觉。

团队还附带了一个叫 Verbatimize 的功能:只要塞给它音频和现成的干净文本,它就能反向补齐语音里的所有停顿和笑声,非常适合用来制作高表现力的 TTS 语音合成训练数据。

怎么跑起来

该系列一共开源了 4 个不同尺寸的模型,支持多语言转录。

最小的版本只有 2 亿参数,模型文件不到 500MB,普通电脑甚至不需要独立显卡就能流畅跑起来。

最大的版本也只有 20 亿参数,体积约为 3GB,消费级显卡基本都能轻松装下。模型采用了定制的 CTranslate2 推理路径,支持投机解码,兼顾了吞吐量和延迟。

如果你不想本地配置环境,官方已经在 Hugging Face 部署了免费的 Space,上传音频就能直接试用。需要本地部署的开发者也可以在 Hugging Face 页面获取模型权重和运行说明。

为什么重要

对于做字幕听翻、播客剪辑和语音数据清洗的人来说,这个工具非常值得一试。以前要在干净文本和精确时间轴之间来回折腾,现在一个轻量开源模型就能把两头都顾上。

我们认为,nyra labs 最聪明的地方是没有盲目堆参数,而是把精力放在了对齐精度、输出可控和长音频稳定性这些实际落地痛点上。用不到 500MB 的体积做到毫秒级词对齐,它在端侧和低成本部署场景下,对商业闭源 API 形成了相当有力的替代。

来源 (2)

  1. [1]
    nyra-labs.com(在新标签页打开)原文nyra-labs.com
  2. [2]
    youtube.com(在新标签页打开)报道youtube.com

每日 AI 内容精选