Sakana AI 提出 Transformer²：像活脑一样实时调整权重，性能反超 LoRA

章鱼遇到天敌可以瞬间改变皮肤颜色融入珊瑚礁，人脑在受损后能重新搭建神经回路来恢复机能。但现在的 AI 模型一旦训练完成，参数就被彻底焊死在权重矩阵里，不管面对的是算术题还是写代码，都只能用同一副脑子硬抗。

总部位于东京的 Sakana AI 试图打破这种僵化状态。他们在最新发布的研究中提出了一个名为 Transformer² 的自适应系统，让大模型在推理过程中，能够根据眼前的任务实时调整自己的权重。

给模型做外科手术，再装上音量旋钮

大模型所有的知识都存在巨大的权重矩阵中。如果想让它针对不同任务变身，以往的做法通常是挂载 LoRA 这样的微调外挂，或者训练一堆专家模型。

Sakana AI 的思路完全不同。他们搬出了线性代数里的奇异值分解技术，把大模型的权重矩阵拆解成一组组独立的成分。这就像一位外科医生将大脑拆分成负责数学运算、语言理解、逻辑推理的特定通路。

拆开之后，团队提出了一种叫作奇异值微调的新方法，用强化学习去训练一组微小的权重向量。这些被称为 z 向量的数值就像一组调节旋钮，专门用来放大关键通路的信号，同时抑制无关通路的干扰。

比如在算术题面前，数学通路的信号会被拉满，无关语言通路的音量会被调到最低。因为只调节奇异值，这套方法额外增加的参数量微乎其微，远少于 LoRA，而且训练时也不需要准备写满标准答案的成套数据。

面对未知的难题，模型自己学会了打组合拳

为了在实际使用中生效，Transformer² 采用了两遍推理的机制。第一遍负责看清来的是什么任务，第二遍把对应的调节旋钮拧到合适位置，然后输出最终回答。

识别任务可以通过三种方式完成：直接用特定的提示词分类、依靠内置的小分类器，或者通过少量样本动态混合多个预训练好的调节向量。

研究团队在 Llama 和 Mistral 两个开源模型上进行了验证，覆盖了数学、代码生成、复杂推理以及视觉问答等多项基准。测试结果显示，这种方法在文本任务上的表现全面超过了传统的 LoRA 微调，在数学基准 GSM8K 上的提升尤为明显。

更让人意外的是模型在处理未见过任务时的表现。当面对难度极高的 MATH 数据集时，模型并没有只调用纯数学的调节向量，而是自发把数学、编程和逻辑推理的成分糅合在了一起。这说明复杂数学并不单靠算数，还要靠编程思维和逻辑推演协助。

研究人员甚至把在 Llama 上训练好的调节向量直接插到 Mistral 上，发现 Mistral 在大部分任务上也神奇地获得了能力提升。

为什么重要

对于应用层开发者而言，我们认为 Transformer² 指出了一条极具性价比的模型定制路线。现在的轻量微调方案如 LoRA，在面对多任务混合的复杂场景时往往需要频繁切换适配层或占用额外显存，而通过奇异值调节参数的方式极小，甚至不需要准备完美标注的数据集，很适合资源有限但又需要模型灵活应对多变任务的团队。

从行业角度看，这项研究正在把 AI 竞争从训练期推向测试期计算。以往各家拼命追求万亿参数、试图用一个包罗万象的庞大模型解决所有问题，如今看起来，让中小尺寸模型根据具体任务动态重构内部结构，反而在推理效率和专项能力上更有胜算。

不过这项技术也有显而易见的现实代价。两遍推理意味着完成一次任务需要模型先做一次判断再做输出，在延迟极度敏感的高并发对话场景里可能会拖慢响应速度。此外，跨模型迁移目前仅在架构高度接近的开源模型间奏效，面对闭源商业模型或者结构差异巨大的系统，自适应权重到底能走多远，还有待更严苛的现实检验。