OpenAIがSWE-Lancer公開：100万ドル分の実務案件でAIを試す

最先端のAIモデルをフリーランス市場に送り込んだら、実際にいくら稼げるのでしょうか。OpenAIが検証した結果、答えは「まだほとんど歯が立たない」というものでした。

OpenAIは、クラウドソーシングサイトのUpworkから収集した1400件以上の実案件で構成される新ベンチマーク「SWE-Lancer」を公開しました。提示された報酬の総額は100万ドルに達します。

報酬額でAIの「実務能力」を測定する

収録されたタスクは、50ドルのバグ修正から3万2000ドルの本格的な機能実装まで多岐にわたります。コードを書くエンジニアリング作業だけでなく、複数の技術提案の中から最適な実装方針を選択させるマネジメント課題も盛り込まれました。

判定基準も実務に即しています。エンジニアリング課題は経験豊富な技術者が三重に検証したエンドツーエンドのテストで採点し、マネジメント課題は当時実際に採用されたエンジニアリングマネージャーの選択と比較されます。評価の結果、現行の最先端モデルであっても大半の課題を解決できないことが明らかになりました。OpenAIは検証環境として統一Dockerイメージと評価用サブセット「SWE-Lancer Diamond」を公開し、後の改訂で外部ネットワークへの依存をなくして検証の安定性を高めています。

なぜ重要か

ベンチマークの評価基準を「実際の報酬額」という経済価値に直結させた点が非常に巧妙です。

従来のコーディング試験はペーパーテストのような性質が強く、現場の生産性にどれほど寄与するのかが見えにくい欠点がありました。実際のフリーランス案件と報酬額を尺度にすることで、最先端モデルの実務能力を冷静かつシビアに評価できます。AIによるエンジニア代替の現実味を測る上でも、極めて実用的な指標と言えます。