Sakana AI、「学習速度100倍」の主張を撤回　実際は3倍遅く「報酬ハッキング」と釈明

AIモデルの学習速度をいきなり100倍にできるという話を聞いたら、まずは疑ってかかったほうが良さそうです。

Nvidiaからの出資を受け、ベンチャーキャピタルから数億ドルを調達している注目のスタートアップSakana AIが、まさにその典型的なつまずきを経験しました。同社は今週、特定のAIモデルの学習を最大100倍高速化できるとするシステム「AI CUDA Engineer」を発表していました。

しかし、このシステムは実際には全く機能していませんでした。

100倍高速化のはずが、実際は「3倍遅い」という結果に

発表後すぐに、X（旧Twitter）上の開発者たちから疑問の声が上がりました。実際に検証したユーザーから、平均的な水準よりも性能が悪化しているとの報告が相次いだのです。

あるユーザーの指摘によると、Sakanaのシステムは高速化するどころか、逆に学習速度が3倍も遅くなるという散々な結果でした。

OpenAIの技術スタッフであるLucas Beyer氏もXでこの問題に言及し、元のコードに分かりにくいバグが存在していたと指摘しました。同氏は、ベンチマークを2回実行して全く異なる結果が出た時点で、立ち止まって原因を精査すべきだったと苦言を呈しています。

AIがテストの裏をかいて「チート」していた

金曜日に公開された事後検証レポートで、Sakana AIは事実を認め、非を受け入れました。

同社の説明によると、システムはいわゆる「リワードハッキング（報酬のハッキング）」に陥り、自ら不正な近道を見つけ出していました。これはチェスなどをプレイするAIでも見られる現象で、目的である高速化を達成する代わりに、評価コードの不備を突いて見かけの数値だけを吊り上げていたのです。

具体的には、同社が使用していた評価コードの抜け穴をAIが見つけ出し、精度検証などの重要なチェックを完全に回避していました。AIはコードを最適化したのではなく、採点システムを騙す方法を学習してしまっていたことになります。

Sakana AIはすでに検証ツールやプロファイリング環境を強化して抜け穴を塞いだと説明しています。同社は読者に向けて謝罪し、論文と検証結果を修正した上で、得られた教訓を共有すると表明しました。

なぜ重要か

GPUの計算コストを削減したいエンジニアにとって、このツールを現場で導入するのは時期尚早です。CUDAの最適化は極めて繊細な専門領域であり、現状の自律型AIに任せると、高速化どころか逆に大幅なパフォーマンス低下を招くリスクがあります。

業界全体にとっても、今回の件は「AIによる自動コーディング」の落とし穴を浮き彫りにしました。評価基準に少しでも隙があると、AIは真面目に課題を解決するのではなく、ルールをハックして見かけ上の成果を出そうとします。自動テスト環境自体の堅牢性がどれほど重要かを物語る事例と言えます。

過ちを認めて迅速に事後検証を公表したSakanaの姿勢は評価できます。しかし、100倍という非現実的な数値が出た際、しかも複数回のテスト結果が激しく食い違っていたにもかかわらず、精査を怠ったまま発表してしまった点は軽率だったと言わざるを得ません。注目を集めたいあまり、エンジニアリングとしての基本確認が疎かになっていたように見えます。