Microsoft Edgeが動画のリアルタイム翻訳とAI吹き替えに対応へ

外国語の動画を見るとき、字幕がなかったり不自然な機械翻訳に悩まされたりすることは少なくありません。

今年の Build カンファレンスにおいて、マイクロソフトは Edge ブラウザに動画のリアルタイム翻訳および吹き替え機能を搭載すると発表しました。動画の再生中に、AI が音声をリアルタイムで翻訳字幕として表示するだけでなく、吹き替え音声まで生成します。

ブラウザ上でリアルタイム吹き替え

この機能は、YouTube や LinkedIn、Coursera に加え、ロイターや CNBC、Bloomberg などのニュースサイトで順次サポートされる予定です。

初期対応の言語は、スペイン語から英語への翻訳と、英語からドイツ語、ヒンディー語、イタリア語、ロシア語、スペイン語への翻訳です。マイクロソフトは今後、対応言語と対象サイトを順次拡大するとしています。

Edge はこれまでも Copilot を通じて YouTube 動画の要約を提供していましたが、既存の字幕データに依存していました。今回の機能は音声そのものを直接処理するため、字幕のない動画でも機能し、聴覚に障がいを持つユーザーのアクセシビリティ向上にも役立ちます。

なぜ重要か

海外のオンライン講座で勉強している人や、海外ニュースを一次情報として追いたい人にとって、外部ツールを使わずにブラウザ単体で翻訳できるメリットは非常に大きいです。

クリエイター側が多言語音声を用意するのを待つのではなく、ブラウザ側でリアルタイムに処理してしまうアプローチは極めて実用的だと考えます。ただし、リアルタイム吹き替えは音声の遅延やイントネーションの自然さが使い心地を左右するため、機械的な棒読みにならず実用に耐えうる品質を維持できるかが普及の鍵になりそうです。