新架构 Titans 引入神经长期记忆：突破 200 万上下文且兼顾速度
研究人员在 arXiv 发布新架构 Titans。它把注意力机制当短期记忆，配合可在测试时学习的神经长期记忆模块，在保持快速并行训练与推理的同时，将上下文扩展至 200 万 token 以上，表现超越传统 Transformer。
研究人员在 arXiv 发布新架构 Titans。它把注意力机制当短期记忆，配合可在测试时学习的神经长期记忆模块，在保持快速并行训练与推理的同时，将上下文扩展至 200 万 token 以上，表现超越传统 Transformer。