Anthropicが新世代AIベンチマーク開発を助成：サイバー攻撃や欺瞞リスクを検証

現在のAIベンチマークは、急速に形骸化しつつあります。

広く使われている評価基準の多くは、現在の生成AIブーム以前に作られたものであり、実際のユーザーがモデルをどう使っているかを捉えきれていません。さらに、スコア稼ぎの対策が進んだ結果、本来測るべき性能を反映していないという指摘も増えています。

こうした課題に対し、Claudeを手がけるAnthropicが自ら資金を投じる動きに出ました。同社は、AIの高度な能力や社会的影響を測る次世代ベンチマークの開発を支援する新たな助成プログラムを開始しました。

サイバー攻撃や核リスクの評価を支援

Anthropicの公式ブログによると、安全に関わる質の高い評価手法の需要は供給を大幅に上回っており、応募は随時受け付けるとしています。

同社が特に求めているのは、深刻なリスクを突くテストです。サイバー攻撃の実行能力、核兵器をはじめとする大量破壊兵器の強化支援、ディープフェイクや誤情報による人間の欺瞞や誘導といった項目が挙げられています。さらに、安全保障上のリスクを検知する早期警戒システムの構築も掲げています。

もちろん危険性の測定だけでなく、科学研究支援や多言語対話、モデルに内在するバイアス緩和や有害コンテンツの自己規制といった実用的なタスクも助成の対象です。

プログラムでは、専門家が独自の評価を作成し、数千人規模のユーザーを巻き込んだ大規模試験を行えるプラットフォームを構想しています。専任のコーディネーターを配置し、有望なプロジェクトの買収や拡張も視野に入れているほか、採択されたチームには資金だけでなく、Anthropicのレッドチームや安全性部門の専門家との直接連携も提供されます。

審判が自らルールを作る懸念

業界全体への貢献という大義名分を掲げる一方で、商業的競争の渦中にあるAnthropicが主導することへの懸念も出ています。

ブログ内でも触れられている通り、助成を受ける評価手法は、Anthropicが非営利研究組織METRなどの協力を得て策定した独自の安全分類と整合させる必要があります。これは、応募者が同社の定める安全やリスクの定義を受け入れざるを得ない構造を生み出す可能性があります。

また、破滅的リスクや超知能の脅威を強調する姿勢そのものへの反発も根強くあります。多くの研究者は、現在のAIが人類を滅ぼす現実的な証拠はなく、SF的な核リスクばかりを叫ぶことは、モデルのハルシネーションや偏見といった足元の喫緊の課題から目をそらす行為だと指摘しています。

なぜ重要か

私たちは、この取り組みが単なる慈善事業ではなく、極めて巧みなルールメイキング戦略だと考えています。

既存のベンチマークが天井に達しつつある中、次世代の評価基準の土台を握ることは、将来の業界標準や法規制の物差しを握ることに直結します。第三者支援という形を取りながら、自社の安全基準をデファクトスタンダードに押し上げられれば、競合モデルに対しても優位なポジションを築けます。

評価ツールを開発する研究者やスタートアップにとって、資金難の領域でまとまった支援と最高峰のレッドチームの知見が得られる機会は貴重であり、今すぐ応募を検討する価値は十分にあります。

しかし、株主への説明責任を負う営利企業がスポンサーである以上、中立性の担保には常に疑問符が付きます。特定のベンダーが掲げる安全の定義に業界全体が縛られてしまわないか、コミュニティによる冷静な監視が欠かせない局面を迎えています。