Karpathy氏がautoresearch公開：人間が寝ている間にAIが自律実験

autoresearchは、元Tesla AI責任者でOpenAIの共同創業者でもあるAndrej Karpathy氏が公開した、機械学習の実験プロセスを完全に自動化するオープンソーススクリプトです。

コード量はわずか630行で、MITライセンスの下でGitHubに公開されています。大がかりなプラットフォームではなく、人間が介在することなくエージェント自身が研究サイクルを自律的に回し続ける最小限のツールです。

何ができるのか

autoresearchの役割は、眠らないジュニアリサーチャーのようなものです。学習スクリプトと1回あたりの計算予算を渡すだけで、あとはエージェントが自ら試行錯誤を繰り返します。

Karpathy氏自身のテストでは、GPUの実行時間を1回あたり5分に設定しました。最初の一晩でエージェントは126回の実験を完了し、検証損失を0.9979から0.9697へと着実に押し下げました。

続いて12層のモデルに対して2日間にわたり実験を走らせたところ、約700回の自律的なコード変更が実行されました。その中から約20件の有効な改善が見つかり、それらを重ね合わせることでGPT-2の学習効率が11%向上しました。学習時間は2.02時間から1.80時間に短縮されています。

Karpathy氏によれば、アテンションのスケーリングや正則化など、自身が20年間の手動チューニングで見落としていた細かな最適化ポイントまでエージェントが発見したといいます。

どのような仕組みか

基本構造は、科学的手法をそのままループにしたシンプルな自律最適化サイクルです。

まずエージェントが既存の学習コードを読み込み、学習率の変更や構造の深さ調整といった仮説を立てます。次にコードを直接書き換えて実験を実行し、結果の検証損失を測定します。

指標が改善していれば変更を採用し、悪化していれば変更を取り消して別の仮説を試します。人間による確認を挟まず、すべてが自律的に繰り返されます。

スクリプト自体がコンパクトなため、Python環境とモデル学習用のハードウェア、エージェントを動かすLLMのAPIを用意すれば、GitHubからコードを取得してすぐにローカル環境で動かせます。

コミュニティでの活用

公開直後からコミュニティでは活発な応用が始まっています。

Hyperspace AIのCEOであるVarun Mathur氏は、このループをP2Pネットワーク上に分散させました。35のエージェントが一晩で333回の実験を無人で行い、H100を持つノードは学習率の探索に、ノートPCのCPUノードは初期化手法の工夫に特化するなど、ハードウェアに応じた戦略の分化が見られました。成果をリアルタイムに共有し、わずか17時間でRMSNormのような過去の重要手法を再発見したと報告しています。

また、マーケティング分野でも、広告文やランディングページのコピーを自動で改変・テストし、返答率の高い施策を自動選別する試みなど、応用範囲が広がりを見せています。

なぜ重要か

私たちが注目すべきだと考えるのは、630行という極めて小さく透明な実装で自律研究の形を示した点です。巨大なフレームワークを導入することなく、個人や小規模なチームが夜間にベースラインを自動改善できる実用性があり、試す価値は十分にあります。

一方で、この仕組みは損失関数の数値だけを頼りに局所的な改善を重ねるアプローチです。新しいアーキテクチャの抜本的な発明には向いておらず、評価指標の設計が甘いと過学習に陥るリスクもあります。

とはいえ、ハイパーパラメータの調整や細かなコード修正といった日常的な泥臭い作業を夜の間にAIへ丸投げできるメリットは大きく、エンジニアの時間の使いどころを確実に変える一歩だと見ています。