Alibaba、映像も見て訳すリアルタイム通訳「Qwen 3.5 Live Translate」公開

海外のレストランで注文する際、音声翻訳アプリが「mussel（ムール貝）」と「muscle（筋肉）」の聞き分けに迷った経験はないでしょうか。耳だけで聞いている限り、同音異義語はどうしても誤訳の原因になります。

Alibabaは5月21日、リアルタイムマルチモーダル通訳モデル「Qwen 3.5 Live Translate」（Flash版）を発表しました。アプローチは極めて明快で、AIに「耳」だけでなく「目」も持たせることで、状況を把握しながら訳させようという試みです。

映像の文脈を読み取って正確に訳す

本モデルは「Qwen 3.5-Omni」のThinker-Talkerアーキテクチャをベースに構築されています。Thinkerがリアルタイム映像と音声を同時に受け取って文脈を理解しテキスト翻訳を生成、Talkerがその訳文と元の音声をもとに音声合成を行います。

視覚的な情報が加わるだけで、翻訳の精度は劇的に改善します。たとえば越境ECのライブ配信では、画面に映る商品の仕様や数値を正確に読み取って翻訳可能です。また、AIグラスを装着してタイの屋台のメニューを見ながら注文するデモでは、現地の文字表記と会話の双方を捉え、デバイス上でタイ語から中国語への的確な通訳を行いました。

言語数も大幅に拡張されました。音声入力およびテキスト翻訳の対応言語は従来の18から60言語へ、音声出力は10から29言語へと拡大し、会話途中で言語が入れ替わるコードスイッチングや訛りにも対応します。

遅延を2.8秒に短縮、自分の声で通訳

同時通訳において、精度と同じくらい重要なのが速度です。

Alibabaは「Readable Unit（可読単位）」と呼ばれるストリーミング翻訳技術を採用しました。文全体が終わるのを待たずに意味のまとまりごとに先行して訳し始めることで、初回トークンの遅延を3.45秒短縮し、平均音声遅延を1トークンあたり2.8秒まで抑えています。FLEURSやCoVoST2といった公開ベンチマークでも、主要な商用音声モデルを上回るスコアを記録しました。

さらに目を引くのが、リアルタイム音声複製（ボイスクローニング）機能です。話者が一言発声するだけで声の特徴を学習し、外国語を話す際も本人の声質を保ったまま通訳音声を生成します。機械的なアナウンサー音声にならず、自然な会話の臨場感を保てます。専門用語や固有名詞をリアルタイムで登録できるHotword機能も備えており、誤訳を防止できます。

現在、公式プラットフォーム上で無料デモが公開されており、ブラウザから試すことができます。

なぜ重要か

従来のAI通訳は「音声認識→文章翻訳→音声合成」の3段階をたどるものが多く、現場の光景は見えていませんでした。視覚コンテキストをリアルタイム通訳に直接組み込むことで、現場の同音異義語や文字情報の誤認という根本的な課題が解決に向かいます。

海外配信を行うクリエイターや国際会議に出席するビジネスパーソン、そしてスマートグラスなどのウェアラブル端末を開発する現場にとって、実用性は極めて高いと言えます。画面越しに見せるだけで商品スペックが正しく伝わり、しかも自分の声で通訳される体験は、これまでの翻訳ツールと一線を画しています。

モデルの遅延を実用レベルの2.8秒まで詰めつつ、マルチモーダルな文脈理解を滑らかに融合させた点は非常に巧みです。音声のみに頼ってきた既存の通訳AIに対して、映像認識を前提とした新しい競争軸を突きつける一手になると考えられます。