Meta 釋出 Seamless 翻譯模型：邊說邊譯還帶情緒

Seamless 是 Meta 開源的一整套多語言語音翻譯系統，專門解決傳統機翻冷冰冰、且必須等整句話說完才翻譯的痛點。它能在對方還在開口時同步生成翻譯，並把說話時的語氣、情緒與節奏原封不動保留下來。

它能做什麼

這套系統由兩大核心模型組成，全都基於 Meta 最新的基礎語音模型 SeamlessM4T v2 構建。

第一個是 SeamlessStreaming，負責攻克低延遲。以往的同傳系統要等說話人說完一整句才出聲，而 SeamlessStreaming 可以在講話進行中即時吐出翻譯，延遲壓在約兩秒左右。

語言覆蓋度也很廣，它支援近 100 種語言的語音識別和語音轉文本，以及近 100 種輸入語言到 36 種輸出語言的語音直譯。

第二個是 SeamlessExpressive，專注解決翻譯缺乏人味的問題。它不僅翻譯文字內容，還會捕捉語速、停頓節奏、情感色彩和整體說話風格。

目前 SeamlessExpressive 支援英語、中文、西班牙語、德語、法語和義大利語之間的雙向語音直譯。

怎麼做到的與開源內容

在架構上，這批模型從過去的自迴歸解碼換成了 UnitY2 架構中的非自迴歸文本到語音單元解碼器。

自迴歸模型按順序逐字預測，遇到長句子容易出現重複退化，速度也跟不上。UnitY2 改為先預測各片段的時長並並行解碼，不僅長序列更穩定，而且因為預先知道要生成多長時間的聲音，非常契合流式生成。

底層執行環境基於 Meta 的 fairseq2 框架，輕量且易於接入 PyTorch 生態。

開放程度上 Meta 做得很徹底。除了開放全部四個模型權重，還配套公開了後設資料與資料對齊工具，包括更新的 stopes 庫和 SONAR 編碼器，方便研究者用單語語音和文本快速製作自己的多模態對齊語料。

為什麼重要

如果你在開發跨語言會議、直播同傳或多語言遊戲語音工具，Seamless 值得立刻上手評測。以往機器翻譯最讓人出戲的是機械播音腔和長停頓，Seamless 第一次把約兩秒的低延遲與情緒韻律保留整合到了公開模型裡。

不過，能保留語速和情緒的 SeamlessExpressive 目前只覆蓋了 6 種主流語言。要在普通裝置或低成本雲端跑起這種多工大模型，推理延遲和視訊記憶體佔用的工程最佳化依然是開發者必須面對的坎。