앤트그룹·칭화대, 실시간 멀티모달 에이전트 'Realtime-Venus' 공개

음성 비서에게 무언가를 검색해 달라고 한 뒤, 작업이 끝날 때까지 어색한 침묵을 견뎌야 했던 경험이 있을 것이다. 앤트그룹과 칭화대학교가 선보인 Realtime-Venus는 바로 이 대화의 단절을 없애기 위한 실시간 멀티모달 에이전트 시스템이다.

대화는 끊김 없이, 작업은 백그라운드에서

Realtime-Venus는 주변을 지속해서 보고 듣고 말하면서, 백그라운드에서 복잡한 작업을 동시에 수행하도록 설계되었다.

핵심은 실시간 인터랙션과 작업 실행을 병렬로 돌리는 듀얼 루프 구조다. 두 개의 9B 모델과 조율 기제인 Harness가 시스템을 지탱한다. Realtime-Venus-Omni가 시청각 입력을 실시간으로 감지하고, Realtime-Venus-Audio가 자연스러운 전이중 음성 대화를 이끈다.

검색이나 복잡한 추론, 도구 호출처럼 시간이 걸리는 일은 Realtime-Venus-Harness가 백그라운드로 넘겨 비동기로 처리한다. 작업이 완료되면 그 결과를 현재 진행 중인 대화에 다시 반영하므로, 사용자는 AI가 작업을 끝낼 때까지 멍하니 기다릴 필요가 없다.

왜 중요한가

대화 인터페이스와 무거운 실행 작업을 완전히 분리한 설계는 매우 영리하다. 기존 음성 비서는 외부 도구를 호출하는 순간 대화가 멈추기 일쑤였지만, Realtime-Venus는 주변을 살피며 대화를 나누는 동시에 뒤에서 업무를 처리하는 비서의 모습을 갖췄다.

우리는 이 시스템이 스마트 글래스와 차량용 비서처럼 즉각적인 반응이 필수적인 환경에 매우 적합하다고 본다. 두 개의 9B 모델과 백그라운드 에이전트를 함께 돌리는 데 필요한 연산량과 전력 효율은 해결해야 할 과제지만, 상시 대화형 AI가 나아가야 할 방향을 설득력 있게 제시했다.