跳到正文
IFAI

AI科研

螞蟻與清華髮布 Realtime-Venus:前臺全雙工對話,後臺非同步跑任務

首次發布 傳播指數 61

螞蟻集團與清華大學推出即時多模態 Agent 系統 Realtime-Venus。它採用雙迴圈架構,由兩個 9B 模型負責音影片感知與全雙工語音,複雜推理則由後臺非同步處理。使用者不用為了等 AI 幹活而中斷對話,很適合智慧眼鏡和車載場景。

螞蟻與清華髮布 Realtime-Venus:前臺全雙工對話,後臺非同步跑任務
圖:arxiv.org

平時跟語音助手對話,最尷尬的就是讓它查點東西,空氣突然安靜好幾秒。螞蟻集團和清華大學聯合推出的 Realtime-Venus,想解決的就是這種停頓。

前臺陪聊,後臺幹活

Realtime-Venus 是一套即時多模態 Agent 系統,主打能持續聽、看、說,同時在後臺處理複雜任務。

它的核心是一套雙迴圈架構,由兩個 9B 模型和一個協調機制 Harness 組成。其中 Realtime-Venus-Omni 負責持續感知音影片輸入,Realtime-Venus-Audio 負責原生全雙工語音互動。

至於耗時的搜尋、複雜推理和工具呼叫,則交給 Realtime-Venus-Harness 委派到後臺非同步執行。等後臺把事情辦完了,再把結果帶回當前對話。前臺的交流完全不斷,使用者不需要為了等待 AI 幹活而乾等著。

為什麼重要

把互動鏈路與耗時任務徹底解耦,這一步走得很聰明。以往的語音助手更像單執行緒介面,一旦呼叫工具就必須暫停對話;Realtime-Venus 則把它變成了一個能一邊看著周圍環境跟你閒聊、一邊在底層幹活的助手。

我們認為,這對智慧眼鏡和車載場景尤其有用。戴著眼鏡走動或開車時,使用者無法接受介面卡死或長時間的死寂。不過兩個 9B 模型加上後臺 Agent,對端側算力或雲端協同提出了不低的要求,未來在硬體上的功耗與網路表現,將是檢驗它能否真正落地的關鍵。

來源 (3)

  1. [1]
  2. [2]
  3. [3]

每日 AI 內容精選