本文へスキップ
IFAI

業界動向

Anthropic、安全性バグ報奨金を拡充:汎用ジェイルブレイクに最大1.5万ドル

公開 拡散指数 38

AnthropicはHackerOneと連携する安全性バグ報奨金プログラムの拡充を発表した。未公開の次世代安全対策システムを対象に、化学・生物・放射性物質・核(CBRN)やサイバー攻撃といった高リスク領域を突破する「汎用ジェイルブレイク」の報告を募る。報奨金は最大1万5000ドルで、初期段階は招待制となる。

Anthropic、安全性バグ報奨金を拡充:汎用ジェイルブレイクに最大1.5万ドル
画像:anthropic.com

AIのセキュリティ対策は、リリース後のいたちごっこから事前テストへと舵を切りつつあります。

Anthropicは8月8日、バグ報奨金プラットフォームのHackerOneと連携し、モデル安全性バグバウンティプログラムを大幅に拡張すると発表しました。最大1万5000ドルの報奨金を用意し、外部の研究者を招いて未公開の次世代安全対策システムをテストします。

狙いは「ユニバーサル脱獄」の早期発見

これまで同社は、公開済みのAIモデルを対象に招待制で脆弱性報告を受け付けていました。

しかし今回の取り組みでは、まだ一般公開されていない次世代の安全制御システムに対する先行アクセス権が提供されます。制御された環境のなかで、本格配備の前に抜け道を探し出してもらう仕組みです。

最大のターゲットは「ユニバーサル脱獄」と呼ばれる攻撃手法です。特定の言い回しだけで起きる偶発的なミスではなく、広範なトピックにわたって安全ガイドラインを一貫してすり抜けてしまう深刻な脆弱性を指します。

Anthropicが特に警戒しているのは、CBRN(化学・生物・放射性物質・核)やサイバー攻撃といった極めてリスクの高い領域です。定められた数の危険な質問に対してモデルが回答してしまう場合、ユニバーサル脱獄とみなされます。

参加は招待制で、実績のあるセキュリティ研究者を対象に8月16日まで応募を受け付けており、選考を通過したテスターには秋頃に連絡が届く予定です。

なぜ重要か

生成AIの安全性確保は、社内のレッドチームだけで網羅できる段階をとうに超えています。世界中のユーザーが新しいプロンプトの抜け穴を日々考案している以上、リリース後のパッチ当てだけでは追いつきません。

未公開の防御システムをあらかじめ外部のハッカーに晒して壊してもらうAnthropicのアプローチは、極めて現実的で賢い判断と言えます。

1万5000ドルという報奨金の上限は、従来のサイバーセキュリティ業界における深刻なゼロデイ脆弱性の相場と比べるとやや控えめな印象もあります。それでも「AI脱獄」を正式なバグバウンティの対象として定義し、明確な基準を設けた意義は小さくありません。

AI各社がモデルの賢さだけでなく「どれだけ確実に制御できるか」という安全インフラの堅牢性を競い合う流れは、今後さらに加速すると考えられます。腕に覚えのあるセキュリティ研究者にとっては、未公開システムに触れられる貴重な機会となるはずです。

情報源 (1)

  1. [1]
    anthropic.com(新しいタブで開きます)原文anthropic.com

毎日のAIピックアップ