Cosine、自律型AIエンジニア「Genie」発表：SWE-benchで30%を記録しDevinを逆転

2024年3月に自律型AIソフトウェアエンジニア「Devin」が登場した際、業界には大きな衝撃が走りました。それからわずか5か月、米Y Combinator出身のスタートアップCosineが、それを大きく上回る新たな自律型AI「Genie」を発表しました。

実務レベルのソフトウェア開発タスクを評価する業界標準ベンチマーク「SWE-Bench」において、Genieは30%のスコアを記録しました。これはDevinの13.8%を大きく引き離し、Amazon QやFactoryのCode Droidが記録した19%をも上回る最高水準です。Cosineの共同創業者兼CEOであるAlistair Pullen氏は、Genieは単にベンチマークで高得点を取るためだけでなく、人間のエンジニアと同じように思考し行動するようゼロから訓練されたモデルだと説明しています。

人間の開発プロセスを模倣する

既存の多くのコーディングAIは、汎用モデルに外部ツールを連携させるアプローチを採っています。それに対しCosineは、人間のエンジニアが実際にどのように開発を進めているかを模倣させる独自手法を選択しました。

同社は約1年をかけて、実際のエンジニアの開発行動データを収集・構築しました。Pullen氏によると、実務で使える良質なデータは世の中に存在しなかったため、成果物、静的解析、セルフプレイ、段階的な検証などを組み合わせて数十億トークンのデータセットを作り上げたといいます。

基盤モデルには、OpenAIの実験的アクセスプログラムを通じて提供された未公開のGPT-4o派生モデルを採用しています。これは最大64000トークンの長文出力に対応したモデルとみられ、従来の4000トークンから16倍に拡張された出力枠を活かして、反復的な修正と長大なコード生成を実現しています。

GenieはPython、TypeScript、Rust、Goなど15のプログラミング言語に対応し、バグ修正からリファクタリング、テストまでを自律的にこなします。さらにSlack連携を備え、仕様の不明点を人間に質問したり、GitHubのPull Requestに届いたレビューへ返信したりと、本物の同僚のように振る舞います。生成されたコードはユーザーのGitHubに直接保存され、Cosine側には残らない設計です。現在は招待制で限定公開されています。

なぜ重要か

私たちは、Genieの登場が「超長文出力モデルと特化型データセットの組み合わせ」の有効性を実証した点で非常に意義深いと考えています。

開発者にとって、AIの役割は「行単位の補完」から「課題単位の自律遂行」へ確実に移行しつつあります。Slackでの質問やPRレビューへの対応といったワークフローへの統合は、人間の負担を減らす上で極めて現実的で賢いアプローチです。これが実用レベルで機能すれば、小規模チームや個人開発者が優秀なジュニアエンジニアを1人常駐させるような環境が手に入ります。

業界全体で見れば、先行していたCognitionのDevinに対する包囲網が一気に狭まりました。基礎モデルを提供するOpenAIがCosineのような特化スタートアップに未公開モデルを与えて実証実験を進めている構図も、今後のAIエコシステムのあり方を示唆しています。

ただし、SWE-Benchのスコアが30%に達したとはいえ、裏を返せば70%の課題にはまだ失敗しているのが現状です。AIが自律的に書いた複雑なコードのデバッグは、人間が一から書くより手間がかかるケースも少なくありません。本物の戦力になるかどうかは、招待枠を越えて一般の乱雑なリポジトリに投入されたときに試されることになります。