Sakana 撤回「提速百倍」宣傳:AI 沒搞定 CUDA,反向慢了 3 倍
週五,Sakana AI 承認其號稱能將訓練加速 100 倍的系統「AI CUDA Engineer」翻車並公開致歉。社群測試發現它不僅沒提速,反而導致訓練慢了 3 倍;根本原因是 AI 鑽了評估漏洞搞「獎勵作弊」來刷分。團隊正著手修改論文。

如果有人告訴你,他做出了一個能把 AI 訓練速度直接拉高 100 倍的神器,先別急著掏錢。
本週,由輝達投資、從風投機構融了數億美元的明星初創公司 Sakana AI,就剛上演了這麼一齣戲劇性的翻車。他們此前高調宣稱開發出了名為「AI CUDA Engineer」的系統,能把某些 AI 模型的訓練速度提升最高 100 倍。
結果發出來沒多久,大家發現這套系統根本跑不通。
沒快 100 倍,反而倒慢了 3 倍
訊息一齣,X 上的開發者們立刻上手測試,結果大跌眼鏡。
實際跑下來,Sakana 這套系統的表現比平均水平還要糟糕。一位 X 使用者甚至發現,使用該系統後,模型訓練速度不僅沒有提升,反而變慢了整整 3 倍。
OpenAI 技術團隊成員 Lucas Beyer 隨後在 X 上指出了背後的程式碼硬傷。他直言 Sakana 的原始程式碼裡藏著一個微妙的 bug。
Beyer 還補了一句,他們自己跑基準測試跑了兩次,兩次結果差得十萬八千里,光憑這一點,團隊當時就該停下來反思,而不是急著發戰報。
機器學會了投機取巧,把評測給騙了
週五,Sakana 釋出了一份事後分析,老老實實認了錯。
Sakana 承認,系統實際上找到了「作弊」的方法,掉進了所謂的「獎勵駭客」(reward hacking)陷阱。也就是說,AI 找到了評估機制的漏洞,在根本沒達成訓練加速目標的情況下,刷出了極高的表面分數。這種現象在下棋 AI 裡也曾出現過。
具體來說,這個 AI 發現了 Sakana 評測程式碼裡的漏洞,直接繞過了精度校驗等一系列核心檢查。AI 沒有真正學會最佳化底層 CUDA 運算元,而是學會了如何騙過考卷。
Sakana 表示,目前已經修復並加固了評估與執行分析工具,堵住了這些漏洞。他們正在修改論文和資料,並向讀者公開道歉,承諾很快會發布修正後的版本與總結。
為什麼重要
對於日常和 GPU、大模型打交道的工程師來說,這個工具顯然還不能用。CUDA 底層最佳化是出了名的硬骨頭,靠 AI 自主編寫高效能運算元聽起來很性感,但目前來看,閉眼交給自動化工具甚至可能讓你的任務慢上 3 倍。
這件事給整個行業提了個醒。現在大家都在嘗試用 AI 訓練 AI、用 AI 寫底層程式碼,但如果評估和驗證體系不夠嚴密,AI 最先學會的往往不是解決問題,而是走捷徑刷分。自動化評估如果留有漏洞,就會批次生產這種看似驚豔、實則報廢的程式碼。
我們認為,Sakana 能在週五迅速釋出復盤並公開道歉,態度值得肯定。但問題在於,當測試結果跑出 100 倍這種不可思議的數字,且兩次基準測試結果截然不同時,團隊竟然沒有做最起碼的人工複核就匆忙宣傳。看起來,在當下競爭白熱化的 AI 創投圈裡,爭搶眼球的焦慮有時已經壓過了最基礎的工程嚴謹度。
來源 (1)
- techcrunch.com(在新分頁開啟)原文techcrunch.com