#AttnRes

3:03AI科研传播指数 36

Moonshot 提出注意力残差 AttnRes：改掉传统残差连接，推理表现大涨

Moonshot AI 提出名为 AttnRes（注意力残差）的新架构，用动态注意力聚合取代 Transformer 中传统的固定残差连接。模型可按需回看早期各层特征，解决深层特征稀释问题。分块版本以极小开销达到基准模型 1.25 倍算力的效果，多步推理与代码能力提升明显。