#SubQ

14:00大模型传播指数 42

Subquadratic 发布 SubQ 大模型：支持 12M 上下文，速度快 52 倍

Subquadratic 发布基于次二次方稀疏注意力架构的大模型 SubQ。该模型拥有 1200 万 token 上下文窗口，在 1MM token 下运行速度比 FlashAttention 快 52 倍，成本不足 Opus 的 5%，计算量减少近 1000 倍。