Meta 推出 Muse 音訊模型：80ms 流式轉錄，區分超 20 人

開跨國線上會議最頭疼的場景，莫過於七八個人搶著說話，中間還時不時夾雜著中英雙語混著蹦，一般的聽寫工具基本直接卡死或亂套。

Meta 旗下的超級智慧實驗室（Meta Superintelligence Labs）推出了他們首個即時音訊感知模型 Muse Voice Transcribe，想徹底把這個痛點按在地上打。

這個模型出自 Meta 的自迴歸模型家族 Muse Spark。根據 Artificial Analysis 截至 9 月 1 日的評測，它在流式語音轉文本和公開說話人日誌基準上都拿下了第一。

像真人一樣「邊聽邊想」

傳統的流式聽寫工具往往按死節奏走，要麼卡頓半天才出一句話，要麼為了追求快瘋狂吐錯字。

Muse Voice Transcribe 把音訊切成了 80 毫秒一塊的小片段，每塊轉成一個軟標記（soft token）。模型自己決定是繼續聽下一塊，還是立刻吐出一個字。

為了平衡速度和準確度，Meta 用強化學習做了一套「自適應延遲」。遇到簡單的詞直接脫口而出，遇到難懂的句子就多聽兩秒再轉寫。

除了聽得準，它還順手把分角色和停頓判斷給包辦了。模型原生支援 20 個人以上同時對話的區分，直接用特殊標記標出誰在說話。

它還支援語音端點檢測，能精準識別使用者什麼時候開口、什麼時候說完，不用額外套一層檢測演算法。

語種方面，模型訓練覆蓋了 70 多種語言，其中 25 種經過了深度驗證。不論是一句話裡中英夾雜，還是整段切語言，它都能原生識別，還能結合上下文偏置來校準專有名詞。

整整一個小時以上的長音訊，它不需要分段切片再拼合後處理，直接扔進去就能即時處理完。

目前這個模型已經開放，通過 Meta Model API、Mac 版 Meta AI 以及 Muse Code 都能用上。在 Mac 上按住 Fn 鍵，就能在任意應用裡呼叫它來聽寫。

為什麼重要

我們認為，Muse Voice Transcribe 最聰明的地方在於把語音識別、說話人分離和端點檢測全揉進了一個自迴歸大模型裡。

以前做即時語音助手，工程團隊得把語音切片、VAD（端點檢測）、ASR（轉錄）和 Diarization（說話人識別）串成長長的一串流水線，每一層都有延遲和誤差損耗。

Meta 把它端到端做成一套標記預測，不僅大幅壓低了工程複雜度，還靠強化學習讓模型學會了自己掌握節奏，這對做即時 AI 助手的開發者來說是個巨大的減負。

對普通打工人來說，它意味著跨國多人會議的即時紀要終於有了能用的方案。尤其是 20 人以上的辨識能力加上中英混說原生支援，剛好踩在多語言團隊的剛需上。

不過，它的隱患也在於自迴歸架構本身的推理開銷。80 毫秒一個片段的高頻自迴歸推理，放在雲端跑併發成本極高，目前還看不出它在端側裝置上的輕量化表現。

看起來 Meta 正急著把底層的多模態感知能力全部補齊，音訊這塊拼圖補上後，他們在即時語音互動和智慧硬體上的底牌明顯更硬了。