Microsoft 開源 ExCyTIn-Bench：模擬真實 SOC 測試 AI 安全調查

ExCyTIn-Bench 是 Microsoft 開源的網路安全基準測試工具，專門用來評估 AI 智慧體在真實安全排查中的實戰能力。

以往測試安全模型，大多像在考選擇題，背背威脅情報術語或者翻翻靜態資料就能拿高分。ExCyTIn-Bench 換了個思路，直接在 Azure 內部搭了一個高度還原的模擬安全運營中心（SOC）。

它能做什麼

AI 在這個環境裡不是簡單答題，而是扮演真正的安全分析師。它必須面對來自 Microsoft Sentinel 及相關服務的 57 張真實日誌表，在充滿噪音的海量資料中自己寫查詢語句、跨資料來源追蹤線索，並找出威脅指標（IoC）。

為了衡量排查過程而不僅是碰運氣蒙對的答案，工具基於警報與實體構建的威脅調查圖來生成事實標準。整個框架支援多輪互動，併為 AI 的每一步排查動作提供細粒度的驗證獎勵，直接檢驗目標拆解、工具呼叫和證據整合能力。

Microsoft 已經在內部用它來打磨自家的安全模型，並接入 Microsoft Security Copilot、Sentinel 和 Defender 進行評估。官方還計劃在後續版本加入租戶定製基準，讓企業能針對自身遇到的真實威脅生成專屬測試集。

實測誰的表現最好

從官方給出的測試資料來看，高推理能力的模型優勢非常明顯。GPT-5 在開啟高推理設定後以 56.2% 的平均得分領跑，這一表現已經逼近了結合 ReAct、反思機制和最佳選擇（BoN）的策略上限（56.3%）。

但如果把 GPT-5 的推理深度調低，得分會立刻跌落近 19%，說明覆雜的安全排查極度依賴端到端的深度鏈式思考。

輕量模型同樣有看點，像 GPT-5-mini 這樣具備思維鏈能力的小模型，測試表現已經能追趕大尺寸模型，在日常防守任務中價效比極高。同時，開源模型與閉源專有模型之間的差距也正在快速收窄。

去哪裡體驗

ExCyTIn-Bench 已經完全開源，支援免費使用。相關程式碼託管在 GitHub 官方倉庫，測試資料集也已同步上線 Hugging Face，模型開發者和企業安全團隊可以直接下載、執行並在自己的環境中提交測試結果。

為什麼重要

對於企業 CISO、安全買家和防禦團隊來說，這是目前極少數能脫離紙上談兵、真正模擬 SOC 分析師工作流的開源測試基準。在採購或部署所謂的「安全 AI」之前，先用這套工具跑一遍，能直接戳穿模型只會背概念、不會查日誌的假象。

我們認為這套工具把安全 AI 的評估重心從單純的單步準確率推向了長程邏輯推理。唯一的門檻在於，要把整套複雜的日誌環境跑順並對齊自家的業務場景，安全團隊仍需要投入一定的工程除錯成本。