Sakana AI 推出 CycleQD:不用微調,靠進化演算法給模型「疊技能」
Sakana AI 研究人員開發出名為 CycleQD 的新框架,通過進化演算法直接融合多個不同專長的小模型。該方法利用模型合併與矩陣分解進行交叉和變異,測試顯示其在程式碼、資料庫和系統操作任務上的表現超過了傳統微調與模型合併,算力消耗大幅降低。
Sakana AI 研究人員開發出名為 CycleQD 的新框架,通過進化演算法直接融合多個不同專長的小模型。該方法利用模型合併與矩陣分解進行交叉和變異,測試顯示其在程式碼、資料庫和系統操作任務上的表現超過了傳統微調與模型合併,算力消耗大幅降低。