Sakana AI 提出 Transformer²:像活腦一樣即時調整權重,效能反超 LoRA
Sakana AI 釋出自適應架構 Transformer²。它先分析任務需求,再通過強化學習訓練的奇異值微調動態調整模型權重。其引數量遠少於 LoRA,卻在數學、程式碼與視覺任務中全面佔優,甚至支援跨模型複用能力。
Sakana AI 釋出自適應架構 Transformer²。它先分析任務需求,再通過強化學習訓練的奇異值微調動態調整模型權重。其引數量遠少於 LoRA,卻在數學、程式碼與視覺任務中全面佔優,甚至支援跨模型複用能力。
Sakana AI 推出神經網路注意力記憶模型 NAMMs,模仿人類大腦機制讓模型主動剔除冗餘 token。該系統通過演化演算法最佳化注意力矩陣,在壓縮視訊記憶體的同時提升了長文本推理表現,還能零樣本直接遷移到視覺和強化學習模型中。
Sakana AI 研究人員開發出名為 CycleQD 的新框架,通過進化演算法直接融合多個不同專長的小模型。該方法利用模型合併與矩陣分解進行交叉和變異,測試顯示其在程式碼、資料庫和系統操作任務上的表現超過了傳統微調與模型合併,算力消耗大幅降低。
Sakana AI 聯合牛津大學等機構推出首個全自動科研系統 The AI Scientist。它能端到端完成從頭腦風暴、寫程式碼做實驗、繪製圖表到撰寫 LaTeX 論文及自動化同行評審的全流程,單篇成本約 15 美元,已在 GitHub 開源。
Sakana AI 推出兩款專注於傳統浮世繪的影像生成模型 Evo-Ukiyoe 與 Evo-Nishikie。前者可由文本生成江戶浮世繪風格影像,後者能為單色古籍版畫自動上色,兩者均基於立命館大學逾 2.4 萬件標註作品微調。模型目前已在 Hugging Face 開源,僅支援日語提示詞。