Google翻訳、過去最大110言語を追加　PaLM 2で広東語などに対応

世界中に何千万人もの話者がいるにもかかわらず、Google 翻訳でずっと使えなかった言語があります。その代表格が広東語でした。

Google は 6 月 27 日、Google 翻訳に過去最大規模となる 110 の新しい言語を追加したと発表しました。対象となる言語の話者数は世界で 6 億 1400 万人を超え、世界人口のおよそ 8% に相当します。

この大幅な拡充を支えているのが、同社の大規模言語モデル「PaLM 2」です。

最も要望の多かった広東語と、絶滅寸前から復活した言語

今回の目玉のひとつは、長年ユーザーからのリクエストが最も多かった広東語の追加です。

Google によると、広東語は書き言葉において標準中国語（北京語）と重複する部分が多く、モデル学習用の独立したデータを切り出すのが非常に難しかったといいます。

今回追加された言語には、大言語だけでなく、先住民族の言語や復興運動が進む希少な言語も数多く含まれています。

たとえば英国マン島のケルト系言語「マン島語」は、1974 年に最後のネイティブ話者が亡くなり、一度は絶滅寸前に追い込まれました。しかし、その後の島を挙げた復興運動によって数千人の話者が生まれ、今回翻訳ツールへの追加に至りました。

また、ジブチやエチオピアなどで話される声調言語「アファール語」は、今回のローンチでボランティアコミュニティからのデータ貢献が最も多かった言語です。西非の「ンコ語」や、パキスタンで最も話されているシャームキー文字表記のパンジャーブ語、北アフリカのタマジクト語なども利用可能になりました。

全体の約 4 分の 1 はアフリカの言語が占めており、フォン語、キコンゴ語、ウォロフ語など、同社のアフリカ言語対応としては過去最大の拡張となりました。

PaLM 2 が近縁の言語を効率的に学習

データが極端に少ない言語をどうやって学習させたのか。その鍵となったのが PaLM 2 です。

PaLM 2 は似通った言語同士を関連づけて効率的に学ぶ能力に長けています。たとえば、ヒンディー語に近いアワディー語やマルワリ語、フランス語系クレオールであるセーシェル・クレオール語などを学習する際に、近縁のデータが役立ちました。

また、方言が多く標準形が存在しない言語では、ネット上で最も広く使われている変種を優先しつつ、他の地域差も取り込む工夫がされています。たとえばロマ語では、ネットで主流の南ヴラックス・ロマ語をベースにしつつ、北ヴラックスやバルカンの要素も織り交ぜています。

なぜ重要か

ユーザーにとっての価値は明確です。これまで自動翻訳の恩恵を受けられなかった地域の人々と直接やり取りできるようになり、ビジネスや文化交流、家族間のコミュニケーションの壁が大きく下がります。

今回の Google のアプローチは非常に合理的だと考えられます。従来の機械翻訳は膨大な対訳データを人間が集める必要があり、データがない少数言語は切り捨てられがちでした。大規模言語モデルの知識転移を活用することで、データ収集の壁を飛び越えて一気に 110 言語を追加してみせたのは見事です。

同社が掲げる「1,000 言語イニシアチブ」の実現に向けた大きな一歩でもあり、次の成長市場となる新興国ユーザーを取り込むインフラ固めとしても機能します。

一方で、課題もあります。方言が複雑に分かれる言語を単一の標準に寄せて翻訳するため、コミュニティ内での表記揺れや正統性をめぐる議論は避けられません。また、近縁言語からの推論に頼っている部分もあるため、重要な公的文書や契約などで使うには、まだ精度面で慎重な確認が必要になりそうです。