Sakana AI 推出 CycleQD:不用微调,靠进化算法给模型「叠技能」
Sakana AI 研究人员开发出名为 CycleQD 的新框架,通过进化算法直接融合多个不同专长的小模型。该方法利用模型合并与矩阵分解进行交叉和变异,测试显示其在代码、数据库和系统操作任务上的表现超过了传统微调与模型合并,算力消耗大幅降低。
Sakana AI 研究人员开发出名为 CycleQD 的新框架,通过进化算法直接融合多个不同专长的小模型。该方法利用模型合并与矩阵分解进行交叉和变异,测试显示其在代码、数据库和系统操作任务上的表现超过了传统微调与模型合并,算力消耗大幅降低。