nyra labsが「CrisperWhisper 2.0」公開、文字起こしの逐語・整形を自在に切り替え

CrisperWhisper 2.0は、nyra labsが公開したオープンソースの音声認識モデルです。文字起こしで常に課題となっていた、話した通りの忠実な記録を取るか、読みやすい整形テキストにするかという二者択一を解消してくれます。

一般的な音声認識ツールは両者が混在し、言い淀みを残すか省くかが文脈任せになりがちでした。CrisperWhisper 2.0では、その挙動を明示的なスイッチとして切り替えられるようにしています。

何ができるのか

「逐語モード」を有効にすると、話者の言い淀み、吃音、言い直し、笑い声といったメタタグまで、音声に含まれるすべての現象を一言一句漏らさず書き起こします。法廷記録や医療分野の会話分析、音声学の研究などに最適です。

一方の「意図モード」を選ぶと、フィラーや不要な間を取り除き、数字や日付、メールアドレスなどを読みやすく整形したクリーンな文章を一発で出力します。

単語単位のタイムスタンプ精度も際立っています。朗読音声のテストにおける平均境界誤差はわずか29.6ミリ秒、日常会話でも40.6ミリ秒に抑えられています。ベンチマークではElevenLabs Scribe v2などの商用APIを上回る精度を記録しました。

長時間の音声処理にも工夫があります。従来のWhisperのように不確実なタイムスタンプトークンを予測するのではなく、直前の認識結果の末尾を次のウィンドウへ引き渡す条件付き継続アプローチを採用しました。これにより、接合部での単語の重複や脱落、Whisper特有の無限ループ幻覚を大幅に抑えています。

さらに「Verbatimize」機能も用意されています。既存の整形済みテキストと音声を渡すだけで、実際の音声に含まれるためらいや笑い声を反映した逐語データへと逆算補正できるため、表現力豊かな音声合成（TTS）の学習データ作成に役立ちます。

動かし方

モデルファミリーは多言語に対応しており、4つのサイズが提供されています。

最小モデルは2億パラメータで、サイズは500MB未満です。高性能なGPUを用意しなくても、一般的なPCのCPUだけで軽快に動作します。

最大モデルでも20億パラメータ、約3GBに収まっており、一般的な市販GPU環境に十分収まります。CTranslate2を拡張した推論パイプラインを備え、投機的デコーディングによる高速処理が可能です。

試すだけなら環境構築も不要で、Hugging Face Space上で無料のデモが公開されています。ローカルに導入したい場合は、Hugging Faceからモデルと実行手順を入手できます。

なぜ重要か

字幕作成者、ポッドキャスト制作者、音声データセットを扱う開発者にとって、すぐに試す価値のあるツールです。用途に応じて生データと清書テキストを完全にコントロールできます。

モデル規模をいたずらに巨大化させるのではなく、タイムスタンプの精度や出力の制御性、幻覚の抑制といった実運用の課題に正面から向き合った点を高く評価できます。500MB足らずのモデルで商用APIに匹敵する単語アライメントを実現したことは、オープンソースの音声認識にとって大きな前進と言えます。