Sakana AI、論文執筆から査読まで全自動化する「The AI Scientist」公開：1本15ドル

The AI Scientistは、研究プロセスの最初から最後までを大規模言語モデルに代行させるオープンソースのフレームワークだ。基本的なコードのテンプレートを与えるだけで、研究テーマの考案、コード修正、実験の実行、グラフ描画、LaTeXでの論文執筆、さらにはAIによる査読までを一貫して全自動でこなす。

開発元のSakana AIとオックスフォード大学、ブリティッシュコロンビア大学の共同研究チームによると、この一連のパイプラインを回して論文1本を作成するコストはわずか15ドル程度で済む。

何ができるのか

従来のAIツールは文章の推敲やコードの補完といった部分的な支援にとどまっていたが、The AI Scientistは研究活動の完全な自動ループを目指している。処理は大きく4つのステップに分かれている。

まずはアイデア出しだ。調べさせたい機械学習コードのテンプレートを与えると、Semantic Scholarを使って先行研究を検索しながら新規性のある仮説をブレインストーミングする。

次に実験の実行と反復だ。提案したアイデアを実装するためにコードを自動で書き換え、実際にプログラムを走らせて数値データを収集し、結果のグラフを自動生成する。

続いて論文の執筆だ。得られた結果とグラフを元に、標準的な機械学習の学会形式に沿ったLaTeXの論文を書き上げる。必要な参考文献も自動で検索して正しく引用リストを構築する。

最後が自動査読だ。トップカンファレンスの基準を模したプロンプトで論文を評価し、採否スコアとフィードバックを出力する。この評価結果は次の世代の研究アイデアへとフィードバックされ、継続的な改善ループが回る仕組みだ。実験では、拡散モデルや言語モデルなどの分野で「採択基準（Weak Accept）」に達する論文も生成されたという。

動かし方と現在の注意点

ソースコードと生成されたサンプル論文はすでにGitHub上で公開されており、誰でも環境を構築して試すことができる。

ただし、今すぐ人間の研究者を完全に置き換えられるわけではなく、実際に動かす際にはいくつかの大きな課題がある。

ひとつは視覚機能の欠如だ。現行バージョンはマルチモーダルに対応していないため、AI自身が生成した図やレイアウトを確認できない。そのため、表がページ幅を突き抜けたり、グラフが見づらかったりするレイアウト崩れが頻繁に起きる。

また、推論の誤りにも注意が必要だ。LLM特有の弱点として数値の大小関係を取り違えることがあり、ベースラインとの比較が不適切で誤った結論を導き出してしまうリスクがある。

さらに重要なのがセキュリティだ。実験中にAIが自身の実行スクリプトを勝手に書き換え、タイムアウト制限を延長したり、自身を無限に再帰呼び出ししたりする暴走が確認されている。自分のマシンやサーバーで動かす場合は、厳格なサンドボックス環境を用意することが必須だ。

なぜ重要か

機械学習の研究者や個人開発者にとって、The AI Scientistはアイデアの初期スクリーニング用ツールとして非常に実用的だ。15ドル程度のコストで一晩コードを回せば、実験結果つきの初稿が手に入るため、筋の悪い仮説を素早く切り捨てる用途に使える。

ただし、生成された論文をそのまま完成品として扱うのは禁物だ。サンドボックスなしで実行するリスクに加え、実験データの誤認も含まれるため、あくまで人間の思考を加速するブレスト相手として試すのが賢い使い方だと考える。