輝達開源 PersonaPlex：邊聽邊說可即時打斷，人設聲線自由換

PersonaPlex 是輝達開源的一個端到端全雙工語音對話模型。簡單來說，它能像真人一樣邊聽你說邊即時回答，中途被你打斷時會立刻停下，聽你講完還會附和兩句，而且你可以隨意給它換人設和聲線。

過去做語音對話一直有個讓人難受的二選一。傳統方案是把語音識別、大語言模型和語音合成串聯起來，角色和音色雖然能隨便捏，但每說一句話都要等好幾秒，根本沒辦法自然插話；後來像 Moshi 這樣的全雙工模型做到了邊聽邊說，但又被鎖死在固定的單一角色和音色裡。

它能做什麼

PersonaPlex 把這種兩難打破了。它採用雙流配置，支援流式語音理解和生成，你只需要提供一段人設提示詞和一段參考音訊，模型就能同時接管對話內容與語音風格。

在演示中，它既能當銀行客服核對使用者身份，帶有特定的口音並表現出同理心，也能在診所前臺場景下準確記錄病人的病史與過敏史。

在面對完全超出常見分佈的極端測試時，比如扮演火星任務中遭遇反應堆熔燬的宇航員 Alex，它不僅能穩住人設，還能用充滿緊迫感和壓力的語氣向用戶求助。

更自然的是它的日常接話能力。在 FullDuplexBench 測試中，它能根據上下文恰到好處地給出 uh-huh、yeah 等輕量反饋，既表明自己在認真聽，又不會打亂使用者的表達節奏。

怎麼做到的

PersonaPlex 放棄了分步驟的流水線，用單個端到端模型直接完成語音到語音的處理。在使用者說話的同時，模型內部的狀態就在即時更新，並以極低的延遲向外流式吐出回應。

控制模型行為的核心機制非常精煉，主要由兩部分輸入驅動。一部分是音訊嵌入形式的聲線提示，用來捕捉說話風格、音色和韻律；另一部分是純文本角色提示，負責框定它的知識範圍、語氣和行為規範。

這種設計讓模型學會了人類對話中的副語言訊號。它不光知道該說什麼，還掌握了人類何時該停頓、何時該打斷、何時該接話的微妙節奏，從而在聽和說的過程中還原出接近真人的交流感。

為什麼重要

我們認為，PersonaPlex 最聰明的地方在於把擬人化的互動節奏與靈活的業務需求綁在了一起。如果你正在開發 7x24 小時的金融諮詢、技術支援客服或者遊戲裡的虛擬陪伴角色，之前在反應速度與人設定製之間的糾結現在有了清晰的解法。

對行業來說，它證明了全雙工端到端模型不必被單一預設綁架。隨著開源社群基於它搭建各種垂直場景，傳統拼接式語音助手面臨的替代壓力會越來越大。不過端到端模型在複雜業務邏輯下的可控性仍需落地檢驗，想嘗試的團隊不妨先從客服和智慧助理這類場景入手。