#Transformer²

15:00研究拡散指数 31

Sakana AIが「Transformer²」発表：脳のように重みを自己適応、LoRAを凌駕

Sakana AIは入力タスクに応じてリアルタイムに重みを動的調整する「Transformer²」を発表した。特異値微調（SVF）と強化学習を組み合わせ、LoRAよりはるかに少ないパラメータ数で数学やコード生成性能を大きく向上させた。