Magic 公佈 1 億 Token 超長上下文模型，獲 3.2 億美元新融資

平時讓 AI 幫你改程式碼，最頭疼的就是專案稍微大一點，模型就把前面的配置和依賴給忘光了。要麼就是上下文一拉長，算力賬單直接飆上天。

專攻 AI 程式設計的初創公司 Magic 剛剛端出了一顆重磅炸彈。他們搞出了首個支援 1 億 token 上下文的模型 LTM-2-mini，順手拿到了 3.2 億美元的新融資，還拉上 Google Cloud 和輝達一起搭超算。

吞下 750 本小說的上下文，還有專治水分的 HashHop

1 億 token 是什麼概念？換算下來差不多是 1000 萬行程式碼，或者 750 本大部頭小說。這就意味著你可以把整個複雜的商業程式碼庫、甚至沒在公網公開過的內部私有庫和文件，一次性全塞進它的腦子裡。

Magic 覺得現在的長上下文評測水分太大。業內最常用的「大海撈針」測試，就像在講鯨魚的小說裡突然插一句「某人和某人在喝咖啡」，模型只要抓異常特徵就行，連傳統檢索增強生成都能矇混過關。還有些測試直接給了特殊標記，相當於考試前就把答案圈出來了。

為了測出真本事，Magic 自己設計並開源了 HashHop 基準。他們把完全隨機、不可壓縮的雜湊值打亂做成鏈條，讓模型順著鏈條一路找下去，模擬真實程式碼裡跨檔案的變數賦值和模組引用。在這個嚴苛測試下，LTM 架構即使跳步查詢也能保持很強的推理穩定性。

23 個人的小團隊，把視訊記憶體開銷打到了地板價

長上下文最怕的是視訊記憶體爆炸。Magic 算了一筆賬：如果用開源霸主 Llama 3.1 405B 來硬撐 1 億 token，光是存一個使用者的 KV 快取，就得燒掉 638 張輝達 H100 GPU，也就是整整 51TB 視訊記憶體。

而他們的 LTM-2-mini 在處理同樣長度時，單個使用者只需要佔用單張 H100 高頻寬視訊記憶體的一小部分。在序列維度的計算開銷上，直接比 Llama 3.1 便宜了大約 1000 倍。

雖然這個原型模型本體比現有主流大模型小好幾個數量級，但在完全不給提示的情況下，它直接讀完程式碼庫就用自定義框架手寫出了計算器，還能自主給開源專案 Documenso 加上密碼強度檢測功能。

有意思的是，Magic 全團隊當時只有 23 個人，手裡卻調動著 8000 張 H100。他們甚至沒用現成的自動求導框架，而是自己手寫了大量的底層 CUDA 程式碼。這次他們拿到了由 Eric Schmidt、紅杉資本、Jane Street 等投資的 3.2 億美元，總融資達到 5.15 億美元，前 OpenAI 超算負責人 Ben Chess 也在這裡挑大梁。

不僅如此，他們還宣佈在 Google Cloud 上搭建 Magic-G5 超算叢集，全面上馬輝達 GB200 NVL72，未來打算擴充套件到數萬張 Blackwell GPU。

為什麼重要

我們認為，Magic 的嘗試直擊了當前大模型落地最大的痛點：預訓練紅利正在見頂，推理期算力才是下一張王牌。

對開發者來說，它的願景極其誘人：未來可能只要花 100 美元和 10 分鐘，AI 就能在完全理解整個倉庫的前提下，直接交付一個可以直接合並的高質量功能 PR。如果你現在想嘗試，他們的評測工具 HashHop 已經在 GitHub 開源，但真正的超大模型還在新叢集上訓練，普通開發者還要等大號 LTM-2 正式上線。

這一步走得最聰明的地方，在於他們沒有卷通用模型的大引數，而是盯死了長上下文的極端推理效率。如果真能把 100M token 的推理成本壓到白菜價，那些靠 RAG 拼湊上下文的傳統程式碼助手就會顯得非常笨拙。

不過隱患也同樣明顯。長上下文不等於強推理能力，小模型在邏輯極其複雜的架構重構中是否會產生嚴重的幻覺，依然有待檢驗。而且從幾十人的小團隊跨越到管理數萬張卡的大規模叢集，工程交付和商業化落地才是真正的硬仗。