Meta、約100言語の音声・テキスト翻訳に対応する「SeamlessM4T」をオープンソース公開

SeamlessM4Tは、音声とテキストの相互翻訳を単一のアーキテクチャで処理できるオープンソースのマルチモーダルAIモデルです。

従来の音声翻訳は、音声を認識してテキスト化し、別モデルで翻訳し、さらに音声合成で読み上げるというように、複数のツールを数珠つなぎにしていました。この構成では途中で生じた誤りが後段に波及し、処理の遅延も大きくなります。

SeamlessM4Tはこれらを1つの統合システムにまとめることで、カスケードエラーを抑え、高速かつ高品質な翻訳を実現しています。

何ができるのか

SeamlessM4Tは約100言語に対応し、音声とテキストを横断する5つの主要な処理をサポートします。

音声入力に関しては、約100言語の音声認識に加え、約100言語同士の音声対テキスト翻訳に対応しています。

注目の音声対音声翻訳では、約100言語の音声入力を受け付け、英語を含む36言語の音声へ直接翻訳して出力できます。

テキスト処理においても約100言語のテキスト対テキスト翻訳をこなせるほか、約100言語のテキストから英語を含む35言語の音声を出力するテキスト対音声翻訳も可能です。

技術的背景と公開範囲

このモデルは、Metaがこれまで積み重ねてきた複数の言語研究を統合して作られました。

具体的には、Wikipediaの翻訳機能にも採用されている200言語対応テキスト翻訳モデルのNLLBや、文字体系を持たない台湾閩南語向けに開発された直接音声翻訳デモ、1100以上の言語をカバーする音声技術プロジェクトMMSの知見が活かされています。

MetaはSeamlessM4Tを研究用ライセンスで一般公開し、研究者や開発者が自由に検証できるようにしました。

あわせて、27万時間分の音声とテキストを対照した大規模多言語データセットSeamlessAlignのメタデータも公開されています。詳細な技術資料やアクセス方法はMetaの公式AIブログで案内されています。

なぜ重要か

リアルタイム通訳や多言語音声アプリを開発するエンジニアにとって、音声認識・機械翻訳・音声合成を別々に保守する手間をなくせる単一モデルの登場は大きな前進です。音声から音声へダイレクトに変換できるため、処理待ち時間の短縮が期待できます。

現時点では研究ライセンスにとどまるため即座の商用利用には制約があり、音声出力の対応言語数も入力の約100言語に対して36言語と開きがあります。それでも、分断されていた音声翻訳パイプラインを単一のマルチモーダルモデルへ一本化できることを実証した点において、今後の多言語コミュニケーション基盤を占う重要なマイルストーンと言えます。