Confluence Labsがステルス解除、ARC-AGI-2で97.9%を達成しコードを公開

Confluence Labsは、難関推論ベンチマーク「ARC-AGI-2」で97.9%のスコアを記録したソルバーをオープンソースとして公開しました。公開評価における1タスクあたりの実行コストはわずか11.77ドルです。

このツールは大規模言語モデル（LLM）によるプログラム合成を活用し、手本となるわずかな事例から変換ルールを表すコードを自動生成して正解を導き出します。

どのように解いているのか

ARC-AGI-2は、未知の幾何学的ルールを極めて少ないサンプルから推論する能力を測るテストです。わずか1年前までは、世界トップクラスの基盤モデルであっても1桁の正答率にとどまる難問でした。

Confluence Labsは新たな巨大モデルを事前学習するのではなく、現行LLMの強みであるコード記述能力と離散プログラム探索を組み合わせる手法を採用しました。

まず課題の表現形式をLLMの学習データに馴染みやすい構造へと整理します。その上で、パズルの変換ルールを記述するPythonコードをモデルに書かせます。

探索は単発で終わらせず、過去の試行錯誤を引き継ぐ長期的なループを構築しています。明確な判定基準を与えてモデル自身にコードを検証させ、修正を繰り返すことで正解プログラムへと絞り込んでいきます。

公開状況とアクセス先

このソルバーのソースコードはGitHub上の「confluence-labs/arc-agi-2」リポジトリで公開されており、誰でも97.9%の結果を再現検証できます。

Brent Burdick氏が率いる同社はY Combinatorの支援を受けており、今後はこの学習効率化のアプローチを、ハードウェア設計や創薬、物理研究などデータ収集コストが高い実領域へ展開していく方針です。

なぜ重要か

推論エージェントやコード生成による問題解決を研究している開発者にとって、このリポジトリは直接コードを追う価値が十分にあります。巨額の学習費用をかけずとも、適切な検証機構とプログラム探索を組み合わせれば、既存モデルの推論限界を大幅に引き上げられることを実証しているからです。

また、最難関とされたARC-AGI-2が低コストで事実上サチュレーションに達したことは、パズル的推論の時代が次の段階に移ったことを示しています。真の勝負は、この仮説生成サイクルが正解の定義しづらい現実の自然科学でどこまで通用するかです。