Meta 推出 Muse 音频模型：80ms 流式转录，区分超 20 人

开跨国线上会议最头疼的场景，莫过于七八个人抢着说话，中间还时不时夹杂着中英双语混着蹦，一般的听写工具基本直接卡死或乱套。

Meta 旗下的超级智能实验室（Meta Superintelligence Labs）推出了他们首个实时音频感知模型 Muse Voice Transcribe，想彻底把这个痛点按在地上打。

这个模型出自 Meta 的自回归模型家族 Muse Spark。根据 Artificial Analysis 截至 9 月 1 日的评测，它在流式语音转文本和公开说话人日志基准上都拿下了第一。

像真人一样「边听边想」

传统的流式听写工具往往按死节奏走，要么卡顿半天才出一句话，要么为了追求快疯狂吐错字。

Muse Voice Transcribe 把音频切成了 80 毫秒一块的小片段，每块转成一个软标记（soft token）。模型自己决定是继续听下一块，还是立刻吐出一个字。

为了平衡速度和准确度，Meta 用强化学习做了一套「自适应延迟」。遇到简单的词直接脱口而出，遇到难懂的句子就多听两秒再转写。

除了听得准，它还顺手把分角色和停顿判断给包办了。模型原生支持 20 个人以上同时对话的区分，直接用特殊标记标出谁在说话。

它还支持语音端点检测，能精准识别用户什么时候开口、什么时候说完，不用额外套一层检测算法。

语种方面，模型训练覆盖了 70 多种语言，其中 25 种经过了深度验证。不论是一句话里中英夹杂，还是整段切语言，它都能原生识别，还能结合上下文偏置来校准专有名词。

整整一个小时以上的长音频，它不需要分段切片再拼合后处理，直接扔进去就能实时处理完。

目前这个模型已经开放，通过 Meta Model API、Mac 版 Meta AI 以及 Muse Code 都能用上。在 Mac 上按住 Fn 键，就能在任意应用里调用它来听写。

为什么重要

我们认为，Muse Voice Transcribe 最聪明的地方在于把语音识别、说话人分离和端点检测全揉进了一个自回归大模型里。

以前做实时语音助手，工程团队得把语音切片、VAD（端点检测）、ASR（转录）和 Diarization（说话人识别）串成长长的一串流水线，每一层都有延迟和误差损耗。

Meta 把它端到端做成一套标记预测，不仅大幅压低了工程复杂度，还靠强化学习让模型学会了自己掌握节奏，这对做实时 AI 助手的开发者来说是个巨大的减负。

对普通打工人来说，它意味着跨国多人会议的实时纪要终于有了能用的方案。尤其是 20 人以上的辨识能力加上中英混说原生支持，刚好踩在多语言团队的刚需上。

不过，它的隐患也在于自回归架构本身的推理开销。80 毫秒一个片段的高频自回归推理，放在云端跑并发成本极高，目前还看不出它在端侧设备上的轻量化表现。

看起来 Meta 正急着把底层的多模态感知能力全部补齐，音频这块拼图补上后，他们在实时语音交互和智能硬件上的底牌明显更硬了。