Meta 发布 Seamless 翻译模型：边说边译还带情绪

Seamless 是 Meta 开源的一整套多语言语音翻译系统，专门解决传统机翻冷冰冰、且必须等整句话说完才翻译的痛点。它能在对方还在开口时同步生成翻译，并把说话时的语气、情绪与节奏原封不动保留下来。

它能做什么

这套系统由两大核心模型组成，全都基于 Meta 最新的基础语音模型 SeamlessM4T v2 构建。

第一个是 SeamlessStreaming，负责攻克低延迟。以往的同传系统要等说话人说完一整句才出声，而 SeamlessStreaming 可以在讲话进行中实时吐出翻译，延迟压在约两秒左右。

语言覆盖度也很广，它支持近 100 种语言的语音识别和语音转文本，以及近 100 种输入语言到 36 种输出语言的语音直译。

第二个是 SeamlessExpressive，专注解决翻译缺乏人味的问题。它不仅翻译文字内容，还会捕捉语速、停顿节奏、情感色彩和整体说话风格。

目前 SeamlessExpressive 支持英语、中文、西班牙语、德语、法语和意大利语之间的双向语音直译。

怎么做到的与开源内容

在架构上，这批模型从过去的自回归解码换成了 UnitY2 架构中的非自回归文本到语音单元解码器。

自回归模型按顺序逐字预测，遇到长句子容易出现重复退化，速度也跟不上。UnitY2 改为先预测各片段的时长并并行解码，不仅长序列更稳定，而且因为预先知道要生成多长时间的声音，非常契合流式生成。

底层运行环境基于 Meta 的 fairseq2 框架，轻量且易于接入 PyTorch 生态。

开放程度上 Meta 做得很彻底。除了开放全部四个模型权重，还配套公开了元数据与数据对齐工具，包括更新的 stopes 库和 SONAR 编码器，方便研究者用单语语音和文本快速制作自己的多模态对齐语料。

为什么重要

如果你在开发跨语言会议、直播同传或多语言游戏语音工具，Seamless 值得立刻上手评测。以往机器翻译最让人出戏的是机械播音腔和长停顿，Seamless 第一次把约两秒的低延迟与情绪韵律保留整合到了公开模型里。

不过，能保留语速和情绪的 SeamlessExpressive 目前只覆盖了 6 种主流语言。要在普通设备或低成本云端跑起这种多任务大模型，推理延迟和显存占用的工程优化依然是开发者必须面对的坎。