新架構 Titans 引入神經長期記憶：突破 200 萬上下文且兼顧速度
研究人員在 arXiv 釋出新架構 Titans。它把注意力機制當短期記憶，配合可在測試時學習的神經長期記憶模組，在保持快速並行訓練與推理的同時，將上下文擴充套件至 200 萬 token 以上，表現超越傳統 Transformer。
研究人員在 arXiv 釋出新架構 Titans。它把注意力機制當短期記憶，配合可在測試時學習的神經長期記憶模組，在保持快速並行訓練與推理的同時，將上下文擴充套件至 200 萬 token 以上，表現超越傳統 Transformer。