Microsoft 开源 ExCyTIn-Bench：模拟真实 SOC 测试 AI 安全调查

ExCyTIn-Bench 是 Microsoft 开源的网络安全基准测试工具，专门用来评估 AI 智能体在真实安全排查中的实战能力。

以往测试安全模型，大多像在考选择题，背背威胁情报术语或者翻翻静态数据就能拿高分。ExCyTIn-Bench 换了个思路，直接在 Azure 内部搭了一个高度还原的模拟安全运营中心（SOC）。

它能做什么

AI 在这个环境里不是简单答题，而是扮演真正的安全分析师。它必须面对来自 Microsoft Sentinel 及相关服务的 57 张真实日志表，在充满噪音的海量数据中自己写查询语句、跨数据源追踪线索，并找出威胁指标（IoC）。

为了衡量排查过程而不仅是碰运气蒙对的答案，工具基于警报与实体构建的威胁调查图来生成事实标准。整个框架支持多轮交互，并为 AI 的每一步排查动作提供细粒度的验证奖励，直接检验目标拆解、工具调用和证据整合能力。

Microsoft 已经在内部用它来打磨自家的安全模型，并接入 Microsoft Security Copilot、Sentinel 和 Defender 进行评估。官方还计划在后续版本加入租户定制基准，让企业能针对自身遇到的真实威胁生成专属测试集。

实测谁的表现最好

从官方给出的测试数据来看，高推理能力的模型优势非常明显。GPT-5 在开启高推理设置后以 56.2% 的平均得分领跑，这一表现已经逼近了结合 ReAct、反思机制和最佳选择（BoN）的策略上限（56.3%）。

但如果把 GPT-5 的推理深度调低，得分会立刻跌落近 19%，说明复杂的安全排查极度依赖端到端的深度链式思考。

轻量模型同样有看点，像 GPT-5-mini 这样具备思维链能力的小模型，测试表现已经能追赶大尺寸模型，在日常防守任务中性价比极高。同时，开源模型与闭源专有模型之间的差距也正在快速收窄。

去哪里体验

ExCyTIn-Bench 已经完全开源，支持免费使用。相关代码托管在 GitHub 官方仓库，测试数据集也已同步上线 Hugging Face，模型开发者和企业安全团队可以直接下载、运行并在自己的环境中提交测试结果。

为什么重要

对于企业 CISO、安全买家和防御团队来说，这是目前极少数能脱离纸上谈兵、真正模拟 SOC 分析师工作流的开源测试基准。在采购或部署所谓的「安全 AI」之前，先用这套工具跑一遍，能直接戳穿模型只会背概念、不会查日志的假象。

我们认为这套工具把安全 AI 的评估重心从单纯的单步准确率推向了长程逻辑推理。唯一的门槛在于，要把整套复杂的日志环境跑顺并对齐自家的业务场景，安全团队仍需要投入一定的工程调试成本。