#Transformer²

15:00AI科研傳播指數 31

Sakana AI 提出 Transformer²：像活腦一樣即時調整權重，效能反超 LoRA

Sakana AI 釋出自適應架構 Transformer²。它先分析任務需求，再通過強化學習訓練的奇異值微調動態調整模型權重。其引數量遠少於 LoRA，卻在數學、程式碼與視覺任務中全面佔優，甚至支援跨模型複用能力。