本文へスキップ
IFAI

研究

アントと清華大がRealtime-Venus発表:会話を止めずに裏でタスク実行

公開 拡散指数 61

アント・グループと清華大学が、リアルタイムマルチモーダルAgentシステム「Realtime-Venus」を開発した。2つの9Bモデルで全二重音声と映像認識を維持しつつ、複雑な処理はバックグラウンドで非同期実行する。タスク待ちで会話を中断せずに済み、スマートグラスや車載用途に適している。

アントと清華大がRealtime-Venus発表:会話を止めずに裏でタスク実行
画像:arxiv.org

音声アシスタントに調べ物を頼んだ瞬間、沈黙が流れて会話が途切れてしまう。アント・グループと清華大学が開発した「Realtime-Venus」は、まさにその課題を解消するためのリアルタイムマルチモーダルAgentシステムだ。

会話を止めずに裏でタスクを回す

Realtime-Venus は、周囲の音声や映像を継続的に捉えて会話しながら、同時にバックグラウンドで複雑なタスクをこなせる仕組みを備えている。

中核にあるのは、2つの9BモデルとHarnessからなるデュアルループ(二重循環)構造だ。Realtime-Venus-Omni が音映像入力を常時モニタリングし、Realtime-Venus-Audio がネイティブな全二重音声対話を担当する。

時間のかかる情報検索や推論、外部ツールの呼び出しは、Realtime-Venus-Harness がバックグラウンドへ非同期に委託する。処理が終わり次第、結果を進行中の会話に戻すため、ユーザーはAIの作業完了を待つために会話を中断する必要がない。

なぜ重要か

リアルタイムな対話と重いタスク処理を完全に切り離したアプローチは極めて実用的だ。従来の音声アシスタントはツールを使うたびに会話が止まりがちだったが、Realtime-Venus なら環境を把握しながら雑談を続け、裏で実務を片付ける相棒に近い存在になれる。

スマートグラスや車載アシスタントのように、沈黙や待ち時間が許されない環境では特に真価を発揮するだろう。2つの9Bモデルを走らせる計算資源や通信レイテンシの管理など課題は残るものの、常駐型AIの自然な進化の方向性を示している。

情報源 (3)

  1. [1]
  2. [2]
  3. [3]

毎日のAIピックアップ