Sakana AI 推出通用记忆模型:让模型学会遗忘,支持零样本跨模态
Sakana AI 推出神经网络注意力记忆模型 NAMMs,模仿人类大脑机制让模型主动剔除冗余 token。该系统通过演化算法优化注意力矩阵,在压缩显存的同时提升了长文本推理表现,还能零样本直接迁移到视觉和强化学习模型中。
Sakana AI 推出神经网络注意力记忆模型 NAMMs,模仿人类大脑机制让模型主动剔除冗余 token。该系统通过演化算法优化注意力矩阵,在压缩显存的同时提升了长文本推理表现,还能零样本直接迁移到视觉和强化学习模型中。