Subquadratic 发布 SubQ 大模型：支持 12M 上下文，速度快 52 倍

把一整套开源代码库或者几百本书同时塞给大模型，算力账单往往直接爆表。

Subquadratic 刚刚公开了一款名为 SubQ 的大语言模型，试图用新的底层机制打破长上下文的算力瓶颈。

挑关键的看，省掉千倍算力

SubQ 基于所谓的完全亚二次稀疏注意力架构（SSA）构建，官方宣称将其上下文窗口直接拉到了 1200 万 token。

传统 Transformer 模型的全注意力机制，会穷举计算词与词之间的每一种关联，导致计算量随着长度呈二次方暴涨。

Subquadratic 的做法是只寻找并聚焦其中真正相关的少量关联。他们表示这种稀疏设计减少了近 1000 倍的计算量。

按照官方公布的数据，在 100 万 token 的长度下，SubQ 的运行速度比 FlashAttention 快了 52 倍，使用成本还不到 Opus 的 5%。

为什么重要

如果 1200 万 token 的上下文真能稳定跑通，开发者处理超大型代码库或连续多天的音视频记录时，就不用再费心切片做 RAG 检索了。

但在注意力机制上做稀疏化，业内向来最大的顾虑是信息召回率和深层推理会不会打折扣，也就是所谓的「大海捞针」能不能捞准。

我们认为，SubQ 拿出的性能倍数和低成本数字非常诱人，甚至直接向目前的头部模型叫板。但在第三方权威基准实测公开之前，它到底是在真实任务中全面可用，还是牺牲了复杂理解力换取的极限速度，仍有待观察。