音声Agent向け記憶システム「VoiceMem」公開：左脳と右脳で感情と事実を分離

VoiceMemは、リアルタイム音声Agent向けに特化して設計されたオープンソースの長期記憶システムです。会話のたびに記憶をリセットすることなく、ユーザーの事実情報や好み、感情の変化を継続して蓄積し、音声対話のテンポを崩さずに活用できます。

本システムは、記憶を「左脳」と「右脳」の2つの役割に分離して管理する構造を採用しています。

事実と感情を切り分けるデュアルブレイン構造

左脳は、人物や固有名詞、アレルギーの有無といった構造化された事実情報を担います。スキーマとエンティティを用いて整理されるため、必要なときに正確な情報をピンポイントで引き出せます。

一方の右脳は、ユーザーの性格や好み、会話中の感情の流れを記録します。たとえば「最近疲れている」と話しかけた際に、過去の試験結果で落ち込んでいた背景を踏まえて共感的な返答を返すなど、人間らしい対話の文脈を支えます。

記憶の性質ごとに保存先を分けることで、検索の精度も向上しています。事実記憶を測るLoCoMoベンチマークでは91.2%のスコアを記録し、Mem0の61.68%を大きく上回りました。感情や個性を測るPersonaMemでも69.44%の正答率を達成しています。

134ミリ秒で検索を終えるストリーミング処理

音声対話において最大の課題となるのが応答の遅延です。テキストなら気にならない1秒前後の待機時間も、会話では不自然な沈黙となって対話体験を損ねてしまいます。

VoiceMemはこの問題を、ユーザーが話している最中に先回りして検索する仕組みで解決しました。音声認識のテキストが数文字進んだ段階でバックグラウンド検索を開始し、話し終わりの発話区間を検出した時点ですでに記憶の取得が完了している状態を作ります。

この投機的プリフェッチにより、応答遅延は134ミリ秒に抑えられています。同等シナリオで1440ミリ秒を要するMem0と比べて大幅に高速化されており、1ターンあたりのトークン消費量も約430トークンにとどまります。

導入手順と公開されているリソース

VoiceMemはApache 2.0ライセンスで完全オープンソースとして公開されています。音声認識エンジンやVAD、話者識別、埋め込みモデルが内蔵パッケージとして整えられています。

動作環境はPython 3.10以上で、pip install voicememで導入できます。リポジトリにはWebブラウザから試せるローカルデモが含まれており、起動するだけですぐに音声入力と記憶検索の挙動を確認可能です。

フレームワーク単体だけでなく、40万件の対話データを含むChatMem-400Kデータセットや、Qwen2.5-Omniなどをベースにした専用モデル群も提供されています。既存の自作LLMに記憶層だけを接続することも可能です。

なぜ重要か

音声コンパニオンAIやパーソナルアシスタントを開発しているエンジニアにとって、VoiceMemは実用性を直に検証する価値が高いツールです。

従来の記憶システムの多くはテキスト対話を前提としており、音声エージェントにそのまま組み込むと検索待ちのラグが大きな障害となっていました。発話の途中で先読み検索を走らせるアプローチは、音声対話特有の制約を上手く回避しています。

ユーザーが言い淀んだり雑音が多い環境では不要な先読み検索が発生する懸念はあるものの、音声AIに自然な「記憶と気遣い」を組み込むための現実的な解決策として注目できます。