VoiceMem：给语音 Agent 塞进双脑记忆，边说话边查仅需 134 毫秒

VoiceMem 是一个专门为实时语音 Agent 打造的开源长期记忆系统。它能让语音助手摆脱每次对话都从零开始的状态，在多轮交互中持续记住你的个人背景、喜好和情绪状态，而且检索过程几乎不给语音对话增加等待时间。

这套系统把记忆机制拆成了「左脑」和「右脑」两个独立协同的模块。

双脑架构是怎么分工的

左脑专门负责结构化的事实信息。比如你提到过自己对坚果过敏、是素食主义者，或者某个朋友的姓名与职业，这些实体和知识会通过 Schema 整理进左脑。

右脑则负责管理长短期的情绪与人格画像。它会记录你的交流偏好、性格特质以及过往对话里的情绪起伏。比如当你随口说「最近好累」时，它能结合右脑记录的上下文，联想到你上次因为某门考试成绩不理想而受挫的经历，给出更有同理心的回答。

这种拆分避免了传统记忆库把所有信息混在一起检索导致的失真。在基准测试中，VoiceMem 在 LoCoMo 事实记忆评测上拿到了 91.2% 的准确率，远高于传统向量记忆引擎 Mem0 的 61.68%；而在专门评测人格与偏好的 PersonaMem 上，准确率达到 69.44%。

为什么它能做到 134 毫秒极低延迟

做实时语音助手，最大的痛点就是模型等不起检索时间。文字对话里等一两秒没人介意，但在语音通话里，超过半秒的停顿就会让对话显得极其尴尬。

VoiceMem 解决这个问题的思路很聪明：它不等你说完才去查，而是直接把检索做成了流式预取。

在用户说话的过程中，系统一边进行流式语音转写，只要识别文本达到预设长度（默认 6 个字符），后台就会在静默中提前启动向量检索。当麦克风检测到你这句话说完了，相关的记忆早已在后台取回并准备就绪。

整套端到端检索的响应延迟只有 134 毫秒，而 Mem0 在同类场景下通常需要 1440 毫秒。此外，它通过分层存储和路由排序，只把最关键的 3 到 5 条记忆注入模型上下文，单轮对话消耗的记忆 token 只有大约 430 个，而传统做法往往需要一口气灌入数千个历史 token。

怎么跑起来与开放程度

VoiceMem 代码基于 Apache 2.0 协议开源，项目承诺永久开源。系统内部打包了完整的依赖组件，包含用于流式语音识别的 FunASR、用于端点检测的 Silero VAD、用于声纹确认的 3D-Speaker，以及本地文本向量模型。

运行环境需要 Python 3.10 以上版本，通过 pip install voicemem 即可完成基础库安装。项目仓库里附带了一个本地 Web 演示界面，克隆代码后运行 web/run.py 就能在本地浏览器里测试双脑记忆的录入与检索。

除了记忆检索框架本身，团队还开源了配套的 ChatMem-400K 训练数据集，以及经过微调可以直接调用 VoiceMem 记忆的端到端语音模型家族，包括 Qwen2.5-Omni、Qwen3-Omni 和 Step-Audio2-Mini。开发者也可以保留这套记忆引擎，单独把回复模型换成自己微调过的接口。

为什么重要

如果你正在开发陪伴类 AI、语音客服或车载语音助手，VoiceMem 属于那种非常值得立刻拉下来看看的工具。

过去很多团队做语音 Agent，往往把精力全放在了语音合成音色和端到端模型上，一旦想加入长期记忆，就会发现现有方案几乎都是为文本检索设计的，动辄一两秒的数据库查询会让整个实时语音体验直接崩盘。VoiceMem 把检索切入点前置到语音流输入阶段，用「人还没说完、后台先查好」的投机机制解决了核心瓶颈。

不过在实际工程部署中，这种投机预取也存在一定代价。如果用户在嘈杂环境中说话断断续续，或者频繁改口、打断对话，系统可能会产生一些无效的预取计算。但整体来看，它给语音 Agent 的记忆系统提供了一条极具参考价值的轻量化路径。