腾讯混元开源 Hy-SimulMT：3 秒延迟中英同传，还能实时克隆人声

Hy-SimulMT 是腾讯混元开源的中英双向实时同声传译模型。它能一边接收发言人的连续语音，一边同步输出翻译后的文本和语音，并且支持实时声音克隆，直接用原发言者的音色讲出目标语言。

它能做什么

传统的实时翻译往往把「语音转文字、机器翻译、文字转语音」三步串成流水线，必须等整句话说完才开始翻，语意停顿和等待感非常明显。

Hy-SimulMT 针对连续流式语音输入优化了决策机制。它不必等发言人停顿，而是边听边翻。为了把延迟压低，模型采取「先开口、后修正」的策略，一旦拿到后续上下文，就会像人类同传译员那样自然地做微调修正确认。

在生成语音时，配合 TTS 服务，模型能实时捕捉说话人的音色细节。如果在一场多人参与的多语种会议里使用它，听众即便听不懂原语言，也能通过声音特征分辨出当前是哪位嘉宾在发言。

规格与测试表现

Hy-SimulMT 采用混合专家（MoE）架构，总参数量为 300 亿，但单次推理仅激活约 30 亿参数。模型提供了 BF16、FP8 以及量化版 GGUF 权重。完整权重体积约为 61GB，而压缩后的 Q4 GGUF 版本降到了 20GB 左右。

在公开的长语音同传评测集 RealSI 上，Hy-SimulMT 的流式翻译延迟指标 StreamLAAL 约为 3 秒，在参与对比的开源模型与商业服务中延迟最低。其 GEMBA 翻译质量得分不仅超过了对比的所有开源模型，还优于五款商业 API 中的四款。

在短语音基准上，它在 RealSI-Sentence 取得了 84.7 分，位列同类测试第一。为了检验真实效果，团队还选取了 18 段涵盖 AI、医疗、制造等 10 个领域的真实音视频，邀请持有 CATTI 一级和二级证书的专业同传译员进行对照测试。在这些样本中，模型的翻译质量达到了专业口译员的水平，响应速度通常更快。

怎么跑起来

项目采用宽松的 Apache 2.0 许可证开源。模型权重已经上传至 Hugging Face 和 ModelScope，官方仓库中同时提供了推理服务工具 SimulInfer 和训练微调工具 SimulTrain。

本地部署需要一台运行 Linux 系统、配备 Python 3.12+ 的机器，显卡驱动需支持 CUDA，环境依赖包含支持对应架构的 vLLM 0.31 或更高版本。进入 SimulInfer 目录后，执行 deploy.sh 即可一键拉起支持 WebSocket 实时通信的网页服务。如果不想自己配置环境，也可以直接在手机端下载腾讯的 Hy Translate App 进行体验。

为什么重要

对于需要搭建跨语种会议系统、出海直播或多语言客服的开发者来说，Hy-SimulMT 提供了一个开箱即用且成本极低的基础底座。30B 参数配合 MoE 架构让它的算力消耗控制在合理范围，20GB 的 GGUF 版本甚至让单张消费级显卡部署实时同传成为可能。

我们认为它最聪明的点在于抛弃了传统的割裂流水线，用流式策略把中英翻译延迟压到了 3 秒级的实用区间。不过需要注意，实时语音克隆和语音输出仍需要单独挂载 TTS 模块；在法律条文、医疗诊断等对准确率要求极严的高风险场景下，具备明确追责机制的人工同传依然不可替代。