#AttnRes

3:03研究拡散指数 36

Moonshot AIが「AttnRes」を発表：残差接続を注意機構に置き換え推論性能を向上

Moonshot AIは、Transformerの従来の固定残差接続を動的な注意機構で置き換える新設計「AttnRes」を発表した。層が深くなっても過去の表現を選択的に参照できるようになり、特徴の希薄化を防ぐ。計算コストを抑えたブロック版でも1.25倍の計算量に匹敵する性能を達成し、推論やコード生成が大幅に向上した。