Subquadratic 釋出 SubQ 大模型：支援 12M 上下文，速度快 52 倍

把一整套開原始碼庫或者幾百本書同時塞給大模型，算力賬單往往直接爆表。

Subquadratic 剛剛公開了一款名為 SubQ 的大語言模型，試圖用新的底層機制打破長上下文的算力瓶頸。

挑關鍵的看，省掉千倍算力

SubQ 基於所謂的完全亞二次稀疏注意力架構（SSA）構建，官方宣稱將其上下文視窗直接拉到了 1200 萬 token。

傳統 Transformer 模型的全注意力機制，會窮舉計算詞與詞之間的每一種關聯，導致計算量隨著長度呈二次方暴漲。

Subquadratic 的做法是隻尋找並聚焦其中真正相關的少量關聯。他們表示這種稀疏設計減少了近 1000 倍的計算量。

按照官方公佈的資料，在 100 萬 token 的長度下，SubQ 的執行速度比 FlashAttention 快了 52 倍，使用成本還不到 Opus 的 5%。

為什麼重要

如果 1200 萬 token 的上下文真能穩定跑通，開發者處理超大型程式碼庫或連續多天的音影片記錄時，就不用再費心切片做 RAG 檢索了。

但在注意力機制上做稀疏化，業內向來最大的顧慮是資訊召回率和深層推理會不會打折扣，也就是所謂的「大海撈針」能不能撈準。

我們認為，SubQ 拿出的效能倍數和低成本數字非常誘人，甚至直接向目前的頭部模型叫板。但在第三方權威基準實測公開之前，它到底是在真實任務中全面可用，還是犧牲了複雜理解力換取的極限速度，仍有待觀察。