英伟达开源 PersonaPlex：边听边说可实时打断，人设声线自由换

PersonaPlex 是英伟达开源的一个端到端全双工语音对话模型。简单来说，它能像真人一样边听你说边实时回答，中途被你打断时会立刻停下，听你讲完还会附和两句，而且你可以随意给它换人设和声线。

过去做语音对话一直有个让人难受的二选一。传统方案是把语音识别、大语言模型和语音合成串联起来，角色和音色虽然能随便捏，但每说一句话都要等好几秒，根本没办法自然插话；后来像 Moshi 这样的全双工模型做到了边听边说，但又被锁死在固定的单一角色和音色里。

它能做什么

PersonaPlex 把这种两难打破了。它采用双流配置，支持流式语音理解和生成，你只需要提供一段人设提示词和一段参考音频，模型就能同时接管对话内容与语音风格。

在演示中，它既能当银行客服核对用户身份，带有特定的口音并表现出同理心，也能在诊所前台场景下准确记录病人的病史与过敏史。

在面对完全超出常见分布的极端测试时，比如扮演火星任务中遭遇反应堆熔毁的宇航员 Alex，它不仅能稳住人设，还能用充满紧迫感和压力的语气向用户求助。

更自然的是它的日常接话能力。在 FullDuplexBench 测试中，它能根据上下文恰到好处地给出 uh-huh、yeah 等轻量反馈，既表明自己在认真听，又不会打乱用户的表达节奏。

怎么做到的

PersonaPlex 放弃了分步骤的流水线，用单个端到端模型直接完成语音到语音的处理。在用户说话的同时，模型内部的状态就在实时更新，并以极低的延迟向外流式吐出回应。

控制模型行为的核心机制非常精炼，主要由两部分输入驱动。一部分是音频嵌入形式的声线提示，用来捕捉说话风格、音色和韵律；另一部分是纯文本角色提示，负责框定它的知识范围、语气和行为规范。

这种设计让模型学会了人类对话中的副语言信号。它不光知道该说什么，还掌握了人类何时该停顿、何时该打断、何时该接话的微妙节奏，从而在听和说的过程中还原出接近真人的交流感。

为什么重要

我们认为，PersonaPlex 最聪明的地方在于把拟人化的交互节奏与灵活的业务需求绑在了一起。如果你正在开发 7x24 小时的金融咨询、技术支持客服或者游戏里的虚拟陪伴角色，之前在反应速度与人设定制之间的纠结现在有了清晰的解法。

对行业来说，它证明了全双工端到端模型不必被单一预设绑架。随着开源社区基于它搭建各种垂直场景，传统拼接式语音助手面临的替代压力会越来越大。不过端到端模型在复杂业务逻辑下的可控性仍需落地检验，想尝试的团队不妨先从客服和智能助理这类场景入手。