Meta 開源多模態翻譯模型 SeamlessM4T：支援近百種語言互譯

SeamlessM4T 是一個全能的多模態與多語言翻譯模型，能在一套架構裡直接處理語音與文本之間的跨語言互譯。

如果你以前搭建過多語言語音系統，大機率要用幾個獨立的模型拼積木：先讓語音識別模型聽懂音訊轉成字，再餵給翻譯模型，最後交給語音合成模型讀出來。鏈路一長，中間每一個環節都在累積誤差，延遲也居高不下。

SeamlessM4T 的核心思路是把這些環節全部收攏進同一個單一模型，從底層減少級聯錯誤和等待時間。

它能做什麼

SeamlessM4T 覆蓋了近百種語言，支援五種主要的跨模態和單模態翻譯任務。

在語音輸入方面，它支援近 100 種語言的語音識別，以及近 100 種輸入語言到近 100 種輸出語言的語音轉文本翻譯。

在語音互譯方面，模型支援近 100 種輸入語言，可以直接翻譯併合成為 36 種語言的語音（包含英語）。

純文本方面，它同樣支援近 100 種語言之間的文本互譯。

如果你需要從文本生成語音，它支援近 100 種文本輸入，並能輸出 35 種語言的語音（包含英語）。

技術底座與開源程度

這套模型並不是平地起高樓，而是融合了 Meta 之前多項多語言研究的成果。

其中包括去年釋出的文本翻譯模型 NLLB，該模型支援 200 種語言，如今已被維基百科用作底層翻譯工具之一。此外，它還吸納了此前針對沒有廣泛文字系統的閩南語開發的直接語音翻譯演示，以及覆蓋 1100 多種語言的 MMS 語音系統經驗。

在開放程度上，Meta 宣佈以研究許可公開 SeamlessM4T，允許研究人員和開發者在此基礎上繼續構建。

除了模型本身，Meta 還開源了多模態翻譯資料集 SeamlessAlign 的後設資料。該資料集挖掘並對齊了 27 萬小時的語音與文本資料，是目前規模最大的開放多模態翻譯資料集。

想要了解架構細節或下載模型權重的開發者，可以通過 Meta 的 AI 官方部落格獲取相關資源。

為什麼重要

對於從事跨語言交流、語音同傳和內容本地化的開發者來說，SeamlessM4T 提供了一個非常難得的端到端開源底座。以往做跨語種語音翻譯必須拼湊三套系統，現在用一套模型就能跑通，工程複雜度和延遲都大幅降低。

我們認為，這一步最聰明的地方在於打破了文本和語音的割裂壁壘。不過需要注意的是，目前模型以研究許可釋出，短期內還不能直接放進商業閉環產品中；同時，語音輸出端支援的 36 種語言相比輸入端的近百種仍有明顯差距。但它已經證明端到端多模態翻譯不僅行得通，而且表現更好，接下來跨語言即時溝通的技術門檻會被進一步打下來。