新架構 Titans 引入神經長期記憶：突破 200 萬上下文且兼顧速度

讓大模型讀完一整套長篇鉅著還能隨時回答細節，一直是業介面臨的頭疼難題。要麼算力成本呈二次方暴漲，要麼像迴圈神經網路那樣把所有內容壓縮成固定狀態，讀到後面把前面的細節忘個精光。

研究人員在 arXiv 上釋出了一篇重磅論文，提出了名為 Titans 的新模型架構家族。它給大模型換了一種記憶機制，把上下文視窗一舉推到了 200 萬 token 以上，而且在長文本檢索中表現依然紮實。

把注意力當短期記憶，配上測試時學習的長期大腦

過去十年裡，模型架構主要在迴圈模型和注意力機制之間尋找平衡。注意力機制建模極為精準，但計算代價巨大，往往只能固定在有限視窗；傳統迴圈模型雖然快，資訊壓縮後卻很容易丟失關鍵細節。

Titans 的做法很巧妙，它從人類認知結構中汲取靈感，把注意力機制降級成了「短期記憶」。在 Titans 看來，注意力機制既然擅長精準捕捉依賴，就讓它專注處理當前的區域性上下文即可。

與此同時，研究團隊引入了一個全新的神經長期記憶模組，充當模型的「長期記憶」。這個模組能在測試推理階段持續學習並記住歷史上下文，再回過頭來輔助注意力機制提取過去的遠期資訊。

更難得的是，這個神經記憶系統不僅保持了極快的推理速度，還能像現代模型一樣進行高度並行的快速訓練。論文圍繞如何將兩者結合，一共給出了三種 Titans 變體架構。

突破 200 萬上下文，在大海里輕鬆撈針

這套雙記憶組合的效果非常直接。實驗結果顯示，在常規的語言建模、常識推理任務上，Titans 的表現全面超越了傳統 Transformer 以及近期湧現的各類現代線性迴圈模型。

除了自然語言，Titans 在基因組學和時間序列等對超長序列極其敏感的領域，也展現出了更強的建模能力。

在業界檢驗超長文本能力的「大海撈針」測試中，Titans 成功將上下文視窗擴充套件到了 200 萬 token 以上。在如此龐大的資料中查詢隱蔽資訊，它的準確率依然明顯優於現有的各類基線模型。

為什麼重要

對開發者和研究人員來說，Titans 指出了一條很有吸引力的新路徑。如果後續能夠開源併成熟落地，處理百萬行程式碼庫、全套基因組序列或者數千頁技術文件的硬體門檻，都有望大幅降低，不再需要為了顧及視訊記憶體而犧牲模型對關鍵細節的記憶能力。

從行業競爭來看，過去兩年大模型在上下文長度上的比拼，大多依靠稀疏注意力技巧或純線性狀態空間模型。但純線性模型在大海撈針等高精度檢索任務上常常乏力，Transformer 又太消耗算力。Titans 證明了把短期注意力與測試時神經記憶分工協作，完全可以在保留精準度的同時解決計算瓶頸。

我們認為，這項研究最聰明的地方在於重新劃定了注意力機制的職責邊界，沒有死磕單一結構，而是用模組化思路讓長短記憶各司其職。不過，在實際生產環境中，測試時動態記憶的狀態管理、多輪長會話的容錯與安全機制究竟如何，還需要真正的工程落地來進一步驗證。