蚂蚁与清华发布 Realtime-Venus:前台全双工对话,后台异步跑任务
蚂蚁集团与清华大学推出实时多模态 Agent 系统 Realtime-Venus。它采用双循环架构,由两个 9B 模型负责音视频感知与全双工语音,复杂推理则由后台异步处理。用户不用为了等 AI 干活而中断对话,很适合智能眼镜和车载场景。

平时跟语音助手对话,最尴尬的就是让它查点东西,空气突然安静好几秒。蚂蚁集团和清华大学联合推出的 Realtime-Venus,想解决的就是这种停顿。
前台陪聊,后台干活
Realtime-Venus 是一套实时多模态 Agent 系统,主打能持续听、看、说,同时在后台处理复杂任务。
它的核心是一套双循环架构,由两个 9B 模型和一个协调机制 Harness 组成。其中 Realtime-Venus-Omni 负责持续感知音视频输入,Realtime-Venus-Audio 负责原生全双工语音交互。
至于耗时的搜索、复杂推理和工具调用,则交给 Realtime-Venus-Harness 委派到后台异步执行。等后台把事情办完了,再把结果带回当前对话。前台的交流完全不断,用户不需要为了等待 AI 干活而干等着。
为什么重要
把交互链路与耗时任务彻底解耦,这一步走得很聪明。以往的语音助手更像单线程接口,一旦调用工具就必须暂停对话;Realtime-Venus 则把它变成了一个能一边看着周围环境跟你闲聊、一边在底层干活的助手。
我们认为,这对智能眼镜和车载场景尤其有用。戴着眼镜走动或开车时,用户无法接受界面卡死或长时间的死寂。不过两个 9B 模型加上后台 Agent,对端侧算力或云端协同提出了不低的要求,未来在硬件上的功耗与网络表现,将是检验它能否真正落地的关键。
来源 (3)
- arxiv.org(在新标签页打开)原文arxiv.org
- github.com(在新标签页打开)报道github.com
- realtime-venus.github.io(在新标签页打开)报道realtime-venus.github.io