Meta、感情やリズムを保つ音声翻訳システム「Seamless」公開

Seamlessは、Metaがオープンソースとして公開した多言語音声翻訳モデル群だ。従来の機械翻訳にありがちだった無機質な合成音声や、発話が終わるまで待たされるストレスを解消し、自然な抑揚や感情を残したままリアルタイムに通訳することを目指している。

何ができるのか

基盤にはアップデートされたSeamlessM4T v2が使われており、主に2つのモデルで構成されている。

1つ目のSeamlessStreamingは、低遅延な逐次通訳に特化したモデルだ。相手が文末まで話し切るのを待たず、発話中に並行して訳出を行い、遅延を約2秒に抑えている。

音声認識と音声・テキスト間翻訳は約100言語の入出力に対応し、音声から音声への翻訳では約100入力言語から36出力言語をカバーする。

2つ目のSeamlessExpressiveは、声の表現力を維持するモデルだ。単語の意味だけでなく、話す速度やポーズのリズム、感情のトーンをそのまま訳出先言語の音声に反映させる。

現時点でのExpressive機能は、英語、中国語、スペイン語、ドイツ語、フランス語、イタリア語の相互音声翻訳で利用できる。

仕組みと公開されたリソース

アーキテクチャ面では、UnitY2と呼ばれるマルチタスク構造が採用された。従来の自己回帰型モデルは系列が長くなると処理速度が落ち、同じ語句を繰り返す劣化が起きやすかった。

そこでUnitY2では非自己回帰型のデコーダを導入し、音声セグメントの長さを事前に予測して並列生成する方式に切り替えた。生成すべき音声の長さが最初から定まるため、ストリーミング処理との相性が格段に良い。

動作基盤には同社の軽量モデリングツール fairseq2 を採用。Metaは4つのモデルの重みに加え、メタデータやデータ整列ツール、さらに更新版のstopesライブラリとSONARエンコーダもあわせて公開している。

なぜ重要か

リアルタイム翻訳や動画・ポッドキャストの多言語展開に取り組む開発者にとって、すぐに検証する価値がある一作だ。約2秒という低遅延と話者のニュアンス保持を同時に成立させたオープンモデルは貴重で、単なる文字通訳からコミュニケーションの再現へと一歩踏み出している。

ただし、感情やリズムの再現に対応しているのは今のところ主要6言語にとどまる。商用プロダクトに組み込むには、モデルの推論コストやインフラ側の最適化が依然としてハードルになるだろう。