NVIDIAがNemotron 3.5 Transcribeを公開：8人の話者分離とプロンプト指示に対応

NVIDIAは、文字起こし、話者分離、多言語翻訳、音声Q&Aを1つのモデルに統合したオープンウェイトの音声モデル「Nemotron 3.5 Transcribe」を公開した。

何ができるか

本モデルは40言語の音声書き起こし、31言語と英語の相互翻訳、そして13言語での話者分離に対応している。最長1時間の録音音声を一括で処理でき、最大8人の異なる話者を正確に見分けることが可能だ。

最大の特徴は、自然言語のプロンプトによる出力制御に対応している点にある。言い淀みや相づちをそのまま残す逐語録にするか、読みやすく整えたクリーンなテキストにするかを指示できるほか、事前に医療用語や専門用語のリストを与えて誤認識を防ぐこともできる。さらに、「この会議で決定された事項は何か」といった音声内容への直接的な質問や、単語レベルのタイムスタンプ出力にも対応している。複数の人物が同時に激しく喋り合うような会話シーンでも、誰が何を話したかを正確に追跡できる。

仕組みと動作環境

システム構成としては、音声エンコーダにMambaとTransformerを組み合わせたMoE構造の言語モデルを連結している。総パラメータ数は約300億に達するが、トークン生成時に実際に使われるアクティブパラメータは約40億に抑えられている。これにより、過度な計算リソースを消費することなく高度な言語理解力を発揮する。

ベンチマーク成績も優秀だ。Hugging FaceのOpen ASRリーダーボードにおいて、オープンモデル中トップとなる英語エラー率5.33%を記録した。Artificial Analysisのベンチマークでもエラー率2.8%でオープンモデル首位タイとなり、David AIの21言語話者分離テストでも18.26%という最低エラー率をマークしている。

モデルサイズは、オリジナルのBF16版が約67.5GBだが、NVFP4量子化版なら22GB未満に収まる。BlackwellアーキテクチャのRTX PRO 6000サーバー向けGPUを1基使用した場合、100時間分の音声を3分未満で処理できるスループットを誇る。現在はvLLM経由での提供が可能なほか、NeMo-Speech.cppを使ってJetson AGX ThorやRTX Sparkなどのローカル環境でも動かせる。なお、本モデルは録音済み音声向けに設計されており、リアルタイムのストリーミング書き起こしには対応していない。

NVIDIAは重みとともに、46万時間を超える多言語音声データセットの処理パイプライン「Granary v2」もHugging FaceおよびModelScope上でオープンにしている。

なぜ重要か

これまで実用的な文字起こしシステムを作ろうとすると、Whisperによる音声認識、専用ライブラリによる話者分離、そしてLLMによるテキスト整形という複数のツールを組み合わせる必要があり、パイプラインの複雑化や精度の劣化が課題だった。

Nemotron 3.5 Transcribeは、それらの処理をプロンプトで指示できる単一のモデルに凝縮した。単一のGPUでFP4版をローカル動作させられるため、会議録の作成、ポッドキャストの分析、医療記録など、プライバシーを重視するオフライン音声アプリケーションを開発する人にとって、今最も試す価値のある選択肢といえる。