Sakana AI 推出通用記憶模型:讓模型學會遺忘,支援零樣本跨模態
Sakana AI 推出神經網路注意力記憶模型 NAMMs,模仿人類大腦機制讓模型主動剔除冗餘 token。該系統通過演化演算法最佳化注意力矩陣,在壓縮視訊記憶體的同時提升了長文本推理表現,還能零樣本直接遷移到視覺和強化學習模型中。
Sakana AI 推出神經網路注意力記憶模型 NAMMs,模仿人類大腦機制讓模型主動剔除冗餘 token。該系統通過演化演算法最佳化注意力矩陣,在壓縮視訊記憶體的同時提升了長文本推理表現,還能零樣本直接遷移到視覺和強化學習模型中。