Anthropic調査：AIでコードを書く開発者、テスト正答率が17％低下

AI にコードを書かせれば、仕事はあっという間に終わります。しかし、その過程で私たちの頭には何が残っているのでしょうか。

Anthropic は、AI アシスタントがプログラマーのスキル習得に与える影響を調べるランダム化比較試験を実施しました。対象となったのは、Python の実務経験がある若手を中心とする 52 人のソフトウェアエンジニアです。

実験の結果、AI を使ったグループは作業を平均で約 2 分早く終えたものの、その直後に行った理解度テストの点数は、手動でコードを書いたグループより 17% も低い結果となりました。成績の差は、学校の評価で言えばほぼ 2 段階のランクダウンに相当します。

手間を省いた分、デバッグ力が落ちる

参加者は全員、Python は普段から使っているものの、非同期処理ライブラリである Trio を触ったことがない開発者です。チュートリアル形式で Trio を使った機能を実装してもらい、その直後にテストを実施しました。

AI なしのグループは、実装中に文法エラーや概念の勘違いに何度も直面しました。しかし、自力でエラーを解決する試行錯誤を経たことで、テストの平均点は 67% を記録しました。一方、AI を自由に使えたグループの平均点は 50% にとどまりました。

もっとも差が開いたのは、コードの誤りを見つけ出して修正するデバッグの問題でした。AI に正しいコードを一瞬で出してもらうと、つまずく経験が失われ、トラブルに対処する力が身につかない実態が浮き彫りになりました。

AI を「丸投げ先」にするか「壁打ち相手」にするか

ただし、AI を使えば必ず頭が悪くなるわけではありません。画面録画の分析から、使い方によって結果が大きく分かれることがわかりました。

テストの点数が 40% 未満だった低スコア群は、コードの生成やデバッグを AI に完全に依存していました。AI に全部書かせた人は一番早く課題を終えましたが、理解度は最低でした。

逆に 65% 以上の高得点を取った人たちは、AI を「家庭教師」のように使っていました。特に成績が良かったのは、AI に概念や仕組みだけを質問し、コード自体は自力で書いた人たちです。このグループは自分でエラーを解決しながら進めたため理解が深く、作業完了スピードも全体で 2 番目に速いという好結果を出しました。

なぜ重要か

多くの開発現場が生産性向上のために AI ツールの導入を急いでいますが、短期間のスピードと引き換えに、エンジニアの育成が犠牲になっている可能性があります。

新しい技術を学ぶ開発者にとって、AI に完成品を作らせる行為は、筋トレをロボットにやらせるようなものです。日常のタスクを素早くこなす分には便利ですが、本質的な理解がないままでは、本番環境で深刻な障害が起きたときに自力で原因を突き止められなくなります。

業界全体にとっても、これは見過ごせない問題です。将来的に定型コードの多くが AI によって生成されるようになれば、人間に求められるのはコードの監査とデバッグになります。しかし若手が AI に頼りきりで育った場合、その監査を担えるベテランが育たないという構造的な人材不足に陥りかねません。

私たちは、AI 開発元である Anthropic が自らこの不都合な真実をデータで示した点を高く評価します。今後は答えをすぐに出すだけでなく、あえて人間に考えさせるような学習向けモードなど、ツールの設計思想そのものの見直しが求められそうです。