MS, 실제 관제 환경 모사한 AI 보안 벤치마크 'ExCyTIn-Bench' 공개

ExCyTIn-Bench는 AI 에이전트가 실제 사이버 보안 조사 업무를 얼마나 잘 수행하는지 평가하기 위해 Microsoft가 공개한 오픈소스 벤치마크 도구다.

기존 보안 벤치마크가 단답형 상식 퀴즈나 정적 데이터 분석에 치우쳤던 것과 달리, ExCyTIn-Bench는 AI를 Microsoft Azure 기반의 가상 보안관제센터(SOC) 환경에 직접 투입한다.

어떤 기능을 제공하나

AI는 단순한 질의응답을 넘어 Microsoft Sentinel 및 관련 서비스에서 추출한 57개 로그 테이블을 직접 조회해야 한다. 노이즈가 섞인 방대한 데이터 속에서 고급 쿼리를 작성하고 데이터 소스를 넘나들며 침해 지표(IoC)를 추적하는 실제 관제 요원의 업무를 그대로 재현했다.

정답 데이터는 보안 분석가가 사용하는 인시던트 그래프(경보-엔티티 이분 그래프)를 바탕으로 생성된다. 최종 정답의 일치 여부만 따지는 대신, 목표 세분화, 도구 활용, 증거 종합 등 조사 단계별로 정밀한 보상 신호를 제공해 전략의 타당성까지 측정할 수 있다.

Microsoft는 이미 자체 보안 모델과 Security Copilot, Sentinel, Defender의 AI 기능을 고도화하는 데 이 프레임워크를 활용하고 있으며, 향후 고객사 테넌트 맞춤형 벤치마크 생성 기능도 추가할 계획이다.

실측 성능과 주요 결과

첫 테스트에서는 고도화된 추론 능력을 갖춘 모델들이 뚜렷한 우위를 보였다. 고추론 모드의 GPT-5가 평균 56.2%의 보상 점수를 얻어 선두를 차지했으며, 이는 ReAct나 반성(reflection) 기법을 결합한 복합 전략의 상한선(56.3%)에 근접한 수준이다.

반면 GPT-5의 추론 깊이 설정을 낮추자 점수가 약 19% 급락해, 복잡한 위협 분석에는 단계별 심층 추론이 필수적임이 확인됐다.

사고 연쇄(CoT) 추론을 적용한 GPT-5-mini 같은 소형 모델 역시 대형 모델에 필적하는 성과를 내며 비용 대비 뛰어난 효율을 입증했다. 오픈소스 모델들 또한 독점 상용 모델과의 격차를 빠르게 좁히고 있다.

이용 방법

ExCyTIn-Bench는 오픈소스로 무료 공개되어 있다. 소스코드는 공식 GitHub 저장소에서 내려받을 수 있으며, 평가용 데이터셋은 Hugging Face에 등록되어 있어 모델 개발사나 기업 보안팀이 바로 테스트를 진행할 수 있다.

왜 중요한가

CISO와 보안 책임자에게 이 도구는 도입하려는 보안 AI가 실전 로그 조사를 감당할 수 있는지 객관적으로 검증할 수 있는 현실적인 기준점을 제공한다. 용어만 암기한 모델과 진짜 분석 역량을 지닌 에이전트를 가려낼 수 있게 됐다.

결과뿐만 아니라 조사 과정 전체를 단계별로 검증하는 보상 체계는 매우 실용적이다. 다만 57개 테이블이 얽힌 복잡한 환경을 제대로 활용하고 자사 워크플로에 맞춰 튜닝하려면 적지 않은 관제 엔지니어링 리소스가 요구될 것으로 보인다.