跳到正文
IFAI

AI科研

蚂蚁与清华发布 Realtime-Venus:前台全双工对话,后台异步跑任务

首次发布 传播指数 61

蚂蚁集团与清华大学推出实时多模态 Agent 系统 Realtime-Venus。它采用双循环架构,由两个 9B 模型负责音视频感知与全双工语音,复杂推理则由后台异步处理。用户不用为了等 AI 干活而中断对话,很适合智能眼镜和车载场景。

蚂蚁与清华发布 Realtime-Venus:前台全双工对话,后台异步跑任务
图:arxiv.org

平时跟语音助手对话,最尴尬的就是让它查点东西,空气突然安静好几秒。蚂蚁集团和清华大学联合推出的 Realtime-Venus,想解决的就是这种停顿。

前台陪聊,后台干活

Realtime-Venus 是一套实时多模态 Agent 系统,主打能持续听、看、说,同时在后台处理复杂任务。

它的核心是一套双循环架构,由两个 9B 模型和一个协调机制 Harness 组成。其中 Realtime-Venus-Omni 负责持续感知音视频输入,Realtime-Venus-Audio 负责原生全双工语音交互。

至于耗时的搜索、复杂推理和工具调用,则交给 Realtime-Venus-Harness 委派到后台异步执行。等后台把事情办完了,再把结果带回当前对话。前台的交流完全不断,用户不需要为了等待 AI 干活而干等着。

为什么重要

把交互链路与耗时任务彻底解耦,这一步走得很聪明。以往的语音助手更像单线程接口,一旦调用工具就必须暂停对话;Realtime-Venus 则把它变成了一个能一边看着周围环境跟你闲聊、一边在底层干活的助手。

我们认为,这对智能眼镜和车载场景尤其有用。戴着眼镜走动或开车时,用户无法接受界面卡死或长时间的死寂。不过两个 9B 模型加上后台 Agent,对端侧算力或云端协同提出了不低的要求,未来在硬件上的功耗与网络表现,将是检验它能否真正落地的关键。

来源 (3)

  1. [1]
  2. [2]
  3. [3]

每日 AI 内容精选