Meta 开源多模态翻译模型 SeamlessM4T：支持近百种语言互译

SeamlessM4T 是一个全能的多模态与多语言翻译模型，能在一套架构里直接处理语音与文本之间的跨语言互译。

如果你以前搭建过多语言语音系统，大概率要用几个独立的模型拼积木：先让语音识别模型听懂音频转成字，再喂给翻译模型，最后交给语音合成模型读出来。链路一长，中间每一个环节都在累积误差，延迟也居高不下。

SeamlessM4T 的核心思路是把这些环节全部收拢进同一个单一模型，从底层减少级联错误和等待时间。

它能做什么

SeamlessM4T 覆盖了近百种语言，支持五种主要的跨模态和单模态翻译任务。

在语音输入方面，它支持近 100 种语言的语音识别，以及近 100 种输入语言到近 100 种输出语言的语音转文本翻译。

在语音互译方面，模型支持近 100 种输入语言，可以直接翻译并合成为 36 种语言的语音（包含英语）。

纯文本方面，它同样支持近 100 种语言之间的文本互译。

如果你需要从文本生成语音，它支持近 100 种文本输入，并能输出 35 种语言的语音（包含英语）。

技术底座与开源程度

这套模型并不是平地起高楼，而是融合了 Meta 之前多项多语言研究的成果。

其中包括去年发布的文本翻译模型 NLLB，该模型支持 200 种语言，如今已被维基百科用作底层翻译工具之一。此外，它还吸纳了此前针对没有广泛文字系统的闽南语开发的直接语音翻译演示，以及覆盖 1100 多种语言的 MMS 语音系统经验。

在开放程度上，Meta 宣布以研究许可公开 SeamlessM4T，允许研究人员和开发者在此基础上继续构建。

除了模型本身，Meta 还开源了多模态翻译数据集 SeamlessAlign 的元数据。该数据集挖掘并对齐了 27 万小时的语音与文本数据，是目前规模最大的开放多模态翻译数据集。

想要了解架构细节或下载模型权重的开发者，可以通过 Meta 的 AI 官方博客获取相关资源。

为什么重要

对于从事跨语言交流、语音同传和内容本地化的开发者来说，SeamlessM4T 提供了一个非常难得的端到端开源底座。以往做跨语种语音翻译必须拼凑三套系统，现在用一套模型就能跑通，工程复杂度和延迟都大幅降低。

我们认为，这一步最聪明的地方在于打破了文本和语音的割裂壁垒。不过需要注意的是，目前模型以研究许可发布，短期内还不能直接放进商业闭环产品中；同时，语音输出端支持的 36 种语言相比输入端的近百种仍有明显差距。但它已经证明端到端多模态翻译不仅行得通，而且表现更好，接下来跨语言即时沟通的技术门槛会被进一步打下来。