#Subquadratic

14:00大模型傳播指數 42

Subquadratic 釋出 SubQ 大模型：支援 12M 上下文，速度快 52 倍

Subquadratic 釋出基於次二次方稀疏注意力架構的大模型 SubQ。該模型擁有 1200 萬 token 上下文視窗，在 1MM token 下執行速度比 FlashAttention 快 52 倍，成本不足 Opus 的 5%，計算量減少近 1000 倍。