シスコがLLM安全性ランキングを公開、Anthropicが上位10枠中8枠を独占
米Ciscoは敵対的攻撃への耐性を評価する「LLM Security Leaderboard」を無料公開した。AnthropicがClaude Opus 4.5の首位獲得を筆頭にトップ10中8枠を独占。OpenAIのGPT-5.2は7位にとどまり、実環境に近い多対話型攻撃における安全性の差が浮き彫りとなった。
企業が生成AIに自社のデータや業務オペレーションの権限を渡す動きが加速しています。しかし、それは同時に新たなセキュリティリスクを招き入れることでもあります。
そうしたリスクを可視化するため、シスコは各モデルの敵対的攻撃への耐性を評価した「LLM Security Leaderboard」を無料公開しました。
結果はAnthropicの圧勝でした。トップ10のうち8枠を独占し、Claude Opus 4.5が首位を獲得、Sonnet 4.5とHaiku 4.5が2位と3位に続きました。
OpenAIはGPT-5.2が7位、GPT 5 Nanoが9位に入り、辛うじてトップ10圏内に留まりました。
一方で下位には厳しい結果が並びました。MistralのMagistral Small 2509とMinistral 3 14b Instructが最下位を争う形となり、ワースト10にはDeepSeek、Cohere、Qwen、xAIのモデルも名を連ねました。
単発の攻撃ではなく長期戦の対話で試す
従来のベンチマークは、1回のプロンプトで脱獄を試みるテストが大半でした。しかしシスコは、複数ターンの対話型攻撃に焦点を当てています。
シスコのAI脅威インテリジェンス部門を率いるAmy Chang氏は、実際の攻撃者は長期的な会話を通じてモデルの安全基準を徐々に削り取っていくと指摘しています。
テストでは公平性を保つため、外部の安全フィルターや追加の保護策は一切使われていません。モデル自体の素の防御力が試された形です。
シスコの調査によると、83パーセントの組織がAIエージェントの導入を計画している一方、安全に対処できると感じている組織は29パーセントに過ぎません。
なぜ重要か
業務システムや顧客データに直接アクセスするAIエージェントを導入する企業にとって、このランキングは極めて現実的な選定基準になります。
Anthropicが上位を独占したことは、同社が初期から注力してきた Constitutional AI などの安全アライメント手法が、実戦的な複数ターンの攻撃に対しても有効であることを示しています。
安価なモデルやオープンなモデルは対話や要約のコストを抑えるには魅力的ですが、自律型エージェントとして権限を渡す場合、騙されやすさという代償が大きすぎる可能性があります。
また、シスコがこの評価指標と手法を一般に無料公開した点も大きな意味を持ちます。これまで一部の大手クラウド内部でしか共有されてこなかったセキュリティ評価が白日の下に晒されたことで、下位に沈んだベンダーも防御性能の底上げを迫られることになります。
情報源 (1)
- thedeepview.com(新しいタブで開きます)原文thedeepview.com