Tencent Hunyuan、音声クローン対応の中英同時通訳モデル「Hy-SimulMT」を公開

Hy-SimulMTは、Tencent Hunyuanがオープンソース化した中国語と英語の双方向リアルタイム同時通訳モデルだ。発言者の音声をストリーミングで受け取りながら翻訳テキストと音声を並行して出力できるほか、話者の声色を保ったまま他言語へ変換するリアルタイム音声クローンにも対応している。

何ができるのか

従来のリアルタイム翻訳は、音声認識（ASR）、機械翻訳（MT）、音声合成（TTS）を順番に処理するパイプラインが一般的だった。この方式では一文が話し終わるまで翻訳を開始できず、大きなタイムラグが発生しやすい。

Hy-SimulMTは連続した音声ストリームを直接処理することで、この遅延を抑えている。発言の終了を待たずに翻訳を少しずつ生成し、後続の文脈が届いた段階で適宜自己修正を加えることで、人間の同時通訳者に近い自然な対話を実現する。

さらに、TTSサービスと組み合わせることで話者の音響特性を抽出した音声クローンが可能になる。複数人が登壇する国際会議やインタビューでも、声の違いから誰が発言しているかを直感的に聞き分けることができる。

性能と動作要件

モデルは総パラメータ数300億（30B）のMixture-of-Experts（MoE）構造を採用しており、推論時にアクティブ化されるのは約30億パラメータに抑えられている。重みはBF16、FP8、量子化されたGGUF形式で提供される。元のファイルサイズは約61GBだが、Q4 GGUF版であれば約20GBまで軽量化される。

長文音声のベンチマーク「RealSI」において、Hy-SimulMTの翻訳遅延指標（StreamLAAL）は約3秒を記録し、比較されたオープンソースモデルや商用APIの中で最も低遅延だった。翻訳品質を測るGEMBAスコアでも比較対象の全オープンソースモデルを上回り、5つの商用API中4つを凌駕した。

また、医療やAIなど10分野の音声を用いたテストでは、CATTI（中国翻訳専業資格）1級・2級を保持するプロの通訳者と比較評価が行われ、同等の翻訳品質をより短い遅延で達成したとしている。

導入方法

ライセンスはApache 2.0で、重みはHugging FaceおよびModelScopeから入手できる。リポジトリには推論用ツール「SimulInfer」と微調整用パイプライン「SimulTrain」が同梱されている。

ローカル動作環境には、Linux、Python 3.12以上、CUDA対応のNVIDIA GPU、そしてvLLM 0.31以上が必要となる。SimulInferディレクトリ内のdeploy.shを実行すれば、WebSocket対応のWebサービスを立ち上げられる。手軽に試したい場合は、モバイル向けの「Hy Translate App」からも利用可能だ。

なぜ重要か

多言語カンファレンスや海外向けライブ配信、越境コミュニケーションツールを開発するエンジニアにとって、Hy-SimulMTは有力な選択肢になる。30B MoE設計により推論リソースが効率化されており、20GB前後の量子化モデルならワークステーション1台でも現実的に運用できる。

何より、音声クローンによって「本人がその言語で話しているような感覚」を低遅延で生み出せるのが強みだ。ただし、音声出力には別途TTSのセットアップが必要であり、誤訳が許されない法務や医療のような高リスク領域では、依然として人間の専門通訳による確認が欠かせない。