マイクロソフト、実環境模したAIセキュリティ評価「ExCyTIn-Bench」公開

ExCyTIn-Benchは、AIエージェントが現実のサイバーセキュリティ調査をどこまでこなせるかを検証するためにMicrosoftが公開したオープンソースのベンチマークツールだ。

これまでのセキュリティ評価は知識を問う選択式クイズや静的なデータ分析が中心だったが、ExCyTIn-BenchはAIをMicrosoft Azure上のリアルな模擬SOC（セキュリティ運用センター）環境に配置する点が大きく異なる。

何ができるのか

AIは単に答えを出すだけでなく、Microsoft Sentinelや関連サービスに由来する57種類ものログテーブルを自ら検索し、ノイズの多いデータから脅威指標（IoC）を特定していく。

人間のアナリストが作成するインシデントグラフ（アラートとエンティティの二部グラフ）を正解データとして採用しており、調査の最終結果だけでなく、ツールの使い方や目標の分解、証拠の統合といった多段階の思考プロセスに対して詳細な報酬シグナルを付与する。

Microsoftはすでに自社のセキュリティモデルや、Microsoft Security Copilot、Sentinel、DefenderのAI機能検証にこの仕組みを活用しており、今後は顧客環境の脅威に合わせた個別ベンチマークの生成機能も提供する予定だ。

初回検証の結果

検証結果では、深い推論を行えるモデルが顕著な強みを見せた。高推論モードのGPT-5が平均報酬56.2%でトップに立ち、ReActや自己反省などを組み合わせた高度な思考チェーン手法のスコア（56.3%）に肉薄している。

一方で、GPT-5の推論深度を下げるとスコアは約19%も低下し、複雑なログ調査にはステップごとの明示的な思考が欠かせないことが浮き彫りになった。

思考チェーンを備えたGPT-5-miniのような小型モデルも大型モデルに迫るスコアを記録しており、コストパフォーマンスの高さを示している。また、オープンソースモデルもプロプライエタリなモデルとの差を急速に縮めている。

入手方法と使い方

ExCyTIn-Benchはオープンソースとして無償公開されている。ソースコードは公式GitHubリポジトリで管理され、評価用データセットはHugging Faceから直接取得できる。モデル開発者やセキュリティチームは自前のエージェントを持ち込んで即座に検証を始めることが可能だ。

なぜ重要か

企業のCISOやセキュリティ担当者にとって、机上の空論ではなく実務に近いログ調査能力を客観的に見極められるツールが手に入った意義は大きい。モデルの「調査力」を導入前に厳しくテストできる。

単なる正否判定ではなく調査プロセス自体を段階的に評価するアプローチは非常に合理的だ。ただし、57ものログテーブルを扱う複雑な環境を自社の運用に引き寄せて使いこなすには、それなりのセキュリティエンジニアリングの工数が必要になるだろう。