跳到正文
IFAI

開源專案

Cohere 開源語音模型 Transcribe:2B 引數可本地跑,支援 14 種語言

首次發布 傳播指數 55

Cohere 開源首個語音識別模型 Transcribe。該模型引數量為 20 億,支援消費級 GPU 本地執行,每分鐘可處理 525 分鐘音訊,涵蓋中英日等 14 種語言。其在 Open ASR 榜單字錯率為 5.42,同時 Cohere 還提供免費 API 接入。

Cohere 開源語音模型 Transcribe:2B 引數可本地跑,支援 14 種語言
圖:techcrunch.com

Cohere Transcribe 是一個輕量級開源語音識別模型,能幫你把會議記錄、日常訪談或播客音訊快速轉寫成文字。

它只有 20 億(2B)引數,對硬體要求很低,在普通的消費級顯示卡上就能直接本地跑起來,不需要把敏感音訊上傳到雲端。

它能做什麼與硬體規格

Transcribe 專為實際生產環境下的轉錄任務打造,目前支援 14 種語言,包括中文、英語、日語、韓語、法語、德語、西班牙語、越南語和阿拉伯語等。

除了佔用資源小,它的處理速度極快。官方資料顯示它每分鐘可以處理 525 分鐘的音訊,換算下來,幾個小時的會議錄音在十幾秒內就能完成轉寫。

由於引數規模控制在 2B,個人開發者拿一張普通的消費級 GPU 就能完成離線部署,適合用來做本地筆記應用或私密語音分析工具。

架構與實測表現

技術架構上,Transcribe 採用了 Conformer 編碼器搭配輕量 Transformer 解碼器的結構。它將輸入的音訊波形轉化為 log-Mel 頻譜,再由模型從頭訓練的跨熵目標生成文字 token。

在 Hugging Face 的 Open ASR 評測基準中,Transcribe 以 5.42 的平均字錯率(WER)拿下總榜第一,成績超過了 Zoom Scribe v1、IBM Granite 4.0 1B、ElevenLabs Scribe v2 以及 Whisper Large v3。在多人會議和帶口音的複雜聲學場景下,它的穩定性表現亮眼。

在人工評測中,針對準確度、連貫性與可用性的對比,Transcribe 取得了 61% 的綜合勝率。不過它也有短板:官方測試表明,在處理葡萄牙語、德語和西班牙語時,它的轉錄表現落後於部分同類競品。

怎麼用上它

Transcribe 採用 Apache 2.0 許可證開源,權重檔案已經可以在 Hugging Face 上直接下載部署。

如果你不想自己維護硬體環境,Cohere 也在官方 API 中開放了該模型的免費呼叫通道。此外,該模型還會上線託管推理平臺 Model Vault,並接入 Cohere 旗下的企業智慧體編排平臺 North。

為什麼重要

對於正在做語音筆記、即時轉錄或客服分析的開發者來說,Transcribe 提供了一個性價比極高的端側解法。過去要達到這個級別的準確率往往需要動用 Whisper Large 這種笨重的模型,而 Transcribe 僅用 2B 引數就刷下了更低的錯誤率,加上開源商用友好的 Apache 2.0 協議,幾乎可以無縫平替現有的本地 ASR 方案。

但如果你的業務場景重度依賴德語、西班牙語或葡萄牙語,我們建議不要盲目全量遷移。它在小語種上的短板客觀存在,上線前最好先拿自己的真實業務錄音跑一次對比測試。

來源 (2)

  1. [1]
    techcrunch.com(在新分頁開啟)原文techcrunch.com
  2. [2]
    cohere.com(在新分頁開啟)報導cohere.com

每日 AI 內容精選