Sakana AI 推出 CycleQD：不用微调，靠进化算法给模型「叠技能」

想让一个大模型既懂写代码，又懂管数据库，还能熟练操作操作系统，行业里最习惯的做法是什么？把所有数据倒进一个大池子里，花几十万上百万美元重新微调一遍。

但这事特别痛苦。不同技能的数据很容易打架，往往是学会了新的，忘了旧的；或者某个技能权重过大，模型直接偏科。Sakana AI 最近掏出了一套新思路，他们不想继续堆算力训单一巨无霸模型，而是打算像培育生物种群一样，让小模型自己「交配」和「变异」。

这套被称为 CycleQD 的方法，核心是把进化计算里的「质量多样性」（Quality Diversity）搬到了大模型的后训练阶段。

让模型自己杂交与变异

Sakana AI 的思路很直接：先准备一批各自身怀绝技的小专家。比如一个精通写代码，一个擅长搞数据库，一个专门对付操作系统指令。

怎么把它们的能力揉在一起？CycleQD 不做反向传播训练，而是靠两个算子：交叉和变异。

交叉操作直接借用了模型融合技术，把两个父代模型的参数矩阵拼在一起，低成本拼凑出复合技能。

变异操作则玩了个精妙的数学技巧。研究人员用奇异值分解（SVD）把模型的权重矩阵拆解成底层的子技能组件，然后微调这些组件。这样既能逼着模型探索父母辈没有的新能力，又不容易破坏原有结构，大幅降低了过拟合的风险。

最巧妙的是轮换机制。在每一代进化里，算法会挑一项技能作为当前的及格线标准，把其余技能当成行为特征。下一代再换另一项技能当主角。这样轮流坐庄，确保没有任何一项能力被挤压丢掉。

吊打传统全量微调

研究团队用开源的 Llama 3-8B 做了实验，拿三个分别专精编程、数据库和操作系统的专家模型跑进化。

结果很有意思。CycleQD 跑出来的复合模型，在各项测试里全面超过了传统的模型融合算法，甚至击败了传统的全量微调。

按照常规做法，把三类数据合在一起做全量微调，不仅算力成本高昂、训练极慢，最终效果竟然只比单技能专家强了一点点。而 CycleQD 几乎没花传统训练的算力开销，就一口气筛选出了成百上千个不同技能侧重的可用模型。

Sakana AI 认为，这种方法能为 AI 系统带来终身学习的可能。未来有新技能出现时，不再需要拉上所有老数据重新微调一遍，直接把新专家丢进种群里继续进化就行。

为什么重要

对中小型开发者和企业来说，这套方案极具吸引力。现在多数团队根本烧不起动辄几周的微调集群，但手里往往有几颗专精特定业务的开源 7B 或 8B 模型。如果不用重训就能低成本合并能力，甚至按需定制不同技能倾向的 agent，落地的性价比会直接拉满。

对整个行业而言，Sakana AI 正在向「做大做全」的暴力美学发起挑战。行业巨头还在执着于训一个千亿万亿参数的单体全能模型，但单体模型越来越臃肿、遗忘问题严重。CycleQD 证明了小模型集群化、生态化进化的可行性，给去中心化的多智能体协同打了个样。

在我们看来，这种做法非常聪明，它避开了昂贵的梯度计算，用数学分解和参数融合找到了捷径。但隐患也同样明显：变异操作依赖 SVD 拆解子技能，当任务从三五个扩大到几十个、模型参数变得极度稀疏时，参数重叠与冲突可能会成倍增加。进化算法最终能不能应对复杂的深层推理，还需要更大规模的检验。