マイクロソフト、1時間の音声を一括処理する「VibeVoice-ASR」を公開

VibeVoice-ASRは、MicrosoftがHugging Face上で公開したオープンソースの音声認識モデルだ。最大の特徴は、最長60分の連続音声を途中で分割することなく1回の推論で処理し、話者ラベルとタイムスタンプ付きのテキストを出力できる点にある。

何ができるのか

従来の音声認識では、長時間の音声を数十秒単位の短いチャンクに細切れにして認識するのが一般的だった。このやり方では文脈が途切れやすく、誰が話しているかの追跡も狂いやすいという弱点があった。

VibeVoice-ASRはコンテキスト長を64Kトークンまで拡大することで、1時間の音声を丸ごと一括で読み込む。長尺の会話でも文脈を保ったまま、一貫した話者追跡を維持できる。

音声認識だけでなく、話者識別とタイムスタンプ付与をまとめて1つの処理で実行する。出力結果には「誰が」「いつ」「何を話したか」がそのまま構造化データとして揃う。

さらに、カスタムホットワード機能も備えている。専門用語や固有名詞、背景情報をあらかじめ入力しておくことで、ドメイン特有の語彙の認識精度を大幅に高められる。

対応言語は50以上で、事前の言語設定は不要だ。1つの文章の中で複数言語が混ざり合うコードスイッチングにもそのまま対応する。

どう動かすか

利用環境の整備は手軽で、Transformersライブラリのバージョン5.3.0以降に正式対応している。

導入後はAutoProcessorと専用の生成クラスを使い、公開リポジトリから指定のモデルIDを読み込むだけで利用できる。

デコード処理も柔軟で、生データでの出力に加えて、開始時間、終了時間、話者番号、発話内容を格納したリスト形式や、プレーンテキストのみの取得などを用途に応じて選べる。

重みデータはすでにHugging Face上で入手可能で、同ページからオンラインデモや技術レポートも確認できる。

なぜ重要か

議事録作成ツールやポッドキャストの文字起こし、インタビューの書き起こしを開発しているなら、すぐに検証してみる価値がある。

従来はWhisperなどの文字起こしモデルと外部の話者識別ツールを複数組み合わせるパイプライン構成が主流で、接合部のズレや管理コストが課題だった。1つのモデルで完結させられる意義は大きい。

ただし、64Kトークンの長大なコンテキストを一度に推論するため、GPUメモリの消費量や計算リソースの要求は高めになる点に注意が必要だ。