Confluence Labs 結束隱身:ARC-AGI-2 刷到 97.9%,單任務僅 11.77 美元
AI 實驗室 Confluence Labs 結束隱身,宣佈在推理基準 ARC-AGI-2 公開評測中跑出 97.9% 的新成績,單任務成本為 11.77 美元。其方案通過大模型驅動程式合成並開源了程式碼,計劃將這種高效學習能力應用到藥物和硬體研發等資料稀缺領域。

Confluence Labs 開源了一套專門攻克 ARC-AGI-2 基準的求解器,讓大模型通過寫程式碼來解決全新模式的圖形推理任務。
在公開評測中,這套工具跑出了 97.9% 的準確率,平均單個任務的計算成本為 11.77 美元。這意味著曾經被視為最難攻破的抽象推理基準,基本上已經被刷到接近滿分。
它是怎麼做到的
傳統的機器學習極度依賴海量訓練資料,但在樣本極少、規則完全陌生的場景下往往會失靈。一年前,即便是最頂尖的基礎模型,在 ARC 基準上的得分也大多停留在個位數。
Confluence Labs 沒有試圖去訓練一個全新的超大模型,而是利用成熟大模型的程式碼生成能力,配合離散程式搜尋來尋找規律。
具體來說,它把 ARC 的網格變換難題翻譯成大模型更容易理解的程式碼輸入格式,引導模型編寫能夠描述圖形演變的 Python 程式。如果第一次沒跑通,系統支援長跨度迭代,讓模型在之前寫出的程式碼半成品上繼續修補和最佳化。
同時,系統為候選程式碼設定了極其嚴格的驗證反饋標準,給大模型一把能夠自我檢驗對錯的標尺,最終通過不斷合成與篩選程式拼出正確答案。
程式碼已經開源
這套求解器的完整程式碼已經在 GitHub 開源,倉庫名為 confluence-labs/arc-agi-2,任何人都可以下載並復現這套 97.9% 的評測結果。
團隊由 Brent Burdick 創立並獲得 Y Combinator 支援。他們計劃把這種依靠程式合成與假說生成的高效學習框架,繼續應用到硬體架構設計、新藥研發和物理實驗等物理世界資料極其稀缺的硬核領域。
為什麼重要
如果你在研究推理鏈、程式碼合成或者自動化科學發現,這個專案非常值得直接拉下來看。它證明了不需要耗費數百萬美元預訓練新模型,僅僅依靠聰明的程式搜尋結構和長流程推理引導,就能把現有模型的泛化上限往上拉一大截。
更關鍵的訊號在於,當以少樣本推理著稱的 ARC-AGI-2 被廉價的程式碼合成方案推到飽和,純粹的學術刷榜已經告一段落。接下來真正的檢驗,是這套邏輯能不能在缺乏標準答案的真實物理與生物研發中產生價值。
來源 (2)
- ycombinator.com(在新分頁開啟)原文ycombinator.com
- ycombinator.com(在新分頁開啟)報導ycombinator.com