Epoch AI 分析：超長上下文推理如何破解持續學習與 RL 瓶頸

大家聊起長上下文，第一反應往往是「能塞進幾本書」或者「一次讀完整個程式碼庫」。比如現在的 Gemini 2.5 Pro 擁有 100 萬 token 上下文，足夠裝下十本《哈利·波特與魔法石》。

但研究機構 Epoch AI 最近指出，如果我們只把上下文當成越來越大的收納箱，那就完全看輕它了。上下文長度目前正以每年 30 倍的速度膨脹，一旦它跨過千萬甚至百億 token 的門檻，大模型的底層工作邏輯都會被徹底顛覆。

別隻拿長上下文裝文件，它是「外掛記憶」

大模型落地最頭疼的問題之一，是它學不會「持續成長」。模型釋出之後權重就凍結了，無法在多輪互動或長期任務中積累隱性經驗，常常在長對話裡對著同一個錯誤死磕，逼得使用者只能關掉視窗重新開一輪。

根本原因之一是現在的視窗根本不夠記事。如果你讓 AI 像人類一樣通過螢幕截圖來操作電腦，100 萬 token 的容量其實只夠它工作半小時。但如果視窗拉大到 1000 萬 token，它就能記錄約 6 個小時的完整操作；拉大到 100 億 token，相當於能裝下整整 8 個月的工作經歷。如果僅靠文本和音訊，大約 4000 萬 token 就能承載數月的工作積累。

有了這麼大的空間，模型就能直接靠上下文來學習。Cursor 團隊的 Aman Sanger 和知名學者 Andrej Karpathy 都曾討論過類似路徑。

大模型甚至可以在閒暇時用「睡眠算力」做深度整理，在後臺把最近經歷的各種資訊梳理打通，或者把學到的工作經驗壓縮存進 KV cache 中，變成真正屬於它自己的長期記憶。

推理越長，強化學習越能往深處走

除了充當記憶，超長上下文還是接下來強化學習繼續向外擴充套件的核心基石。隨著推理模型興起，AI 解決單項任務的輸出越來越長，需要更長的推理軌跡去探索複雜難題。

在很多現實科研任務中，模型可能要花幾個星期構思假設、設計實驗，中途很難得到正反饋。為了在這種獎勵極度稀疏的環境裡找到正確答案，系統必須支援極長步數的推理展開，並且能夠跑海量分支。

超長上下文還能幫 AI 打造更嚴密的「裁判員」。比如 OpenAI 在訓練後續模型時使用的通用驗證器，就需要極長的思維鏈去核驗模型的長輸出。

像 Kimi K2 在後訓練階段，就結合 MCP 協議用大模型自動合成了大量工具、任務和互動記錄。未來要構建更高質量的強化學習虛擬環境，同樣少不了這種長鏈路推理的支援。

但這套打法面臨兩個非常現實的物理牆。一個是研發迭代變慢，OpenAI 研究員 Noam Brown 之前在播客中直言，當模型思考需要數小時甚至幾天時，研究人員必須等結果出來才能決定下一步，無法像以前那樣即時迭代。另一個就是成本，計算過於昂貴會導致它無法商用，Google DeepMind 就曾因成本考量沒有對外放出千萬級上下文版本。

為什麼重要

對開發者和企業來說，這一判斷指出了智慧體落地的真實瓶頸。現在的 AI Agent 看起來笨拙，本質上是因為工作記憶太短，稍微複雜點的業務就容易在上下文裡迷路脫軌，就像基準測試裡 AI 經營自動售貨機很快虧光錢一樣。一旦長上下文推理變得廉價，打造能持續工作數月且越用越順手的數字員工才真正成為可能，但在此之前，盲目依賴純提示詞維持長期任務並不划算。

對整個行業而言，模型競爭的重心正在從預訓練資料量轉向推理階段的長鏈博弈。誰能把長上下文推理的吞吐做上去、把推理成本打下來，誰就能率先解鎖長時間尺度的複雜科研與工程自動化。

我們認為，Epoch AI 把長上下文定義為「持續學習和強化學習的基礎設施」非常敏銳。但它的隱患在於把希望過分寄託在算力成本的線性下降上，如果模型在上下文中間丟失重點或產生幻覺的本徵缺陷無法靠演算法根本解決，單純把視窗堆到百億 token，可能只會讓 AI 在更大規模的混亂記憶裡翻車。