Kyutai、本人の声を保つリアルタイム音声翻訳AI「Hibiki」を発表

従来の音声翻訳は、話者の声や感情が失われ、無機質な合成音声に差し替えられてしまうのが難点でした。

フランスのAI研究拠点Kyutaiは2月6日、リアルタイム音声翻訳モデル「Hibiki」を発表しました。現時点ではフランス語から英語への翻訳に対応しています。

話者の声を保ちながらリアルタイムで通訳

Hibikiは、入力された音声をリアルタイムで聞き取りながら、英語の音声とテキストを同時に生成します。

最大の特徴は、元の話者の声質をそのまま維持した状態で翻訳音声を届けられる点です。

さらに、元の発言の文脈や意味内容に合わせて、翻訳のペースやテンポを最適に調整する仕組みを備えています。

Kyutaiによる客観指標と人間による評価テストでは、翻訳品質、自然さ、話者の声の再現度のいずれにおいても既存システムを上回り、人間のプロ通訳者に迫る水準に達したとしています。

なぜ重要か

従来の翻訳ツールは、音声認識、テキスト翻訳、音声合成を直列につなぐ構成が多く、処理の遅延や話者の個性が消える問題がつきまとっていました。

Hibikiのように音声を音声へ直接つなぎ、話者本来のトーンや自然なテンポを保つアプローチは、実用的な同時通訳の実現に向けた重要な一歩だと考えられます。

現状はフランス語から英語への一方向のみの対応にとどまっており、今すぐ誰もが業務で使える段階ではありません。

それでも、多言語ミーティングやライブ配信において、自分の声のまま自然に世界へ言葉を届ける未来が現実味を帯びてきました。