Sakana AI 提出 Transformer²：像活腦一樣即時調整權重，效能反超 LoRA

章魚遇到天敵可以瞬間改變皮膚顏色融入珊瑚礁，人腦在受損後能重新搭建神經迴路來恢復機能。但現在的 AI 模型一旦訓練完成，引數就被徹底焊死在權重矩陣裡，不管面對的是算術題還是寫程式碼，都只能用同一副腦子硬抗。

總部位於東京的 Sakana AI 試圖打破這種僵化狀態。他們在最新發布的研究中提出了一個名為 Transformer² 的自適應系統，讓大模型在推理過程中，能夠根據眼前的任務即時調整自己的權重。

給模型做外科手術，再裝上音量旋鈕

大模型所有的知識都存在巨大的權重矩陣中。如果想讓它針對不同任務變身，以往的做法通常是掛載 LoRA 這樣的微調外掛，或者訓練一堆專家模型。

Sakana AI 的思路完全不同。他們搬出了線性代數里的奇異值分解技術，把大模型的權重矩陣拆解成一組組獨立的成分。這就像一位外科醫生將大腦拆分成負責數學運算、語言理解、邏輯推理的特定通路。

拆開之後，團隊提出了一種叫作奇異值微調的新方法，用強化學習去訓練一組微小的權重向量。這些被稱為 z 向量的數值就像一組調節旋鈕，專門用來放大關鍵通路的訊號，同時抑制無關通路的干擾。

比如在算術題面前，數學通路的訊號會被拉滿，無關語言通路的音量會被調到最低。因為只調節奇異值，這套方法額外增加的引數量微乎其微，遠少於 LoRA，而且訓練時也不需要準備寫滿標準答案的成套資料。

面對未知的難題，模型自己學會了打組合拳

為了在實際使用中生效，Transformer² 採用了兩遍推理的機制。第一遍負責看清來的是什麼任務，第二遍把對應的調節旋鈕擰到合適位置，然後輸出最終回答。

識別任務可以通過三種方式完成：直接用特定的提示詞分類、依靠內建的小分類器，或者通過少量樣本動態混合多個預訓練好的調節向量。

研究團隊在 Llama 和 Mistral 兩個開源模型上進行了驗證，覆蓋了數學、程式碼生成、複雜推理以及視覺問答等多項基準。測試結果顯示，這種方法在文本任務上的表現全面超過了傳統的 LoRA 微調，在數學基準 GSM8K 上的提升尤為明顯。

更讓人意外的是模型在處理未見過任務時的表現。當面對難度極高的 MATH 資料集時，模型並沒有只調用純數學的調節向量，而是自發把數學、程式設計和邏輯推理的成分糅合在了一起。這說明覆雜數學並不單靠算數，還要靠程式設計思維和邏輯推演協助。

研究人員甚至把在 Llama 上訓練好的調節向量直接插到 Mistral 上，發現 Mistral 在大部分任務上也神奇地獲得了能力提升。

為什麼重要

對於應用層開發者而言，我們認為 Transformer² 指出了一條極具價效比的模型定製路線。現在的輕量微調方案如 LoRA，在面對多工混合的複雜場景時往往需要頻繁切換適配層或佔用額外視訊記憶體，而通過奇異值調節引數的方式極小，甚至不需要準備完美標註的資料集，很適合資源有限但又需要模型靈活應對多變任務的團隊。

從行業角度看，這項研究正在把 AI 競爭從訓練期推向測試期計算。以往各家拼命追求萬億引數、試圖用一個包羅永珍的龐大模型解決所有問題，如今看起來，讓中小尺寸模型根據具體任務動態重構內部結構，反而在推理效率和專項能力上更有勝算。

不過這項技術也有顯而易見的現實代價。兩遍推理意味著完成一次任務需要模型先做一次判斷再做輸出，在延遲極度敏感的高併發對話場景裡可能會拖慢響應速度。此外，跨模型遷移目前僅在架構高度接近的開源模型間奏效，面對閉源商業模型或者結構差異巨大的系統，自適應權重到底能走多遠，還有待更嚴苛的現實檢驗。