Moonshot 提出注意力殘差 AttnRes：改掉傳統殘差連線，推理表現大漲
Moonshot AI 提出名為 AttnRes（注意力殘差）的新架構，用動態注意力聚合取代 Transformer 中傳統的固定殘差連線。模型可按需回看早期各層特徵，解決深層特徵稀釋問題。分塊版本以極小開銷達到基準模型 1.25 倍算力的效果，多步推理與程式碼能力提升明顯。
Moonshot AI 提出名為 AttnRes（注意力殘差）的新架構，用動態注意力聚合取代 Transformer 中傳統的固定殘差連線。模型可按需回看早期各層特徵，解決深層特徵稀釋問題。分塊版本以極小開銷達到基準模型 1.25 倍算力的效果，多步推理與程式碼能力提升明顯。