마이크로소프트, 스스로 악성코드 역공학 분석하는 '프로젝트 아이어' 공개

출처를 알 수 없는 바이너리 파일을 역공학으로 뜯어보는 작업은 사이버 보안 업계에서 가장 시간과 손이 많이 가는 고난도 영역입니다.

마이크로소프트가 이 복잡한 리버스 엔지니어링 과정을 스스로 수행하는 자율형 AI 에이전트를 공개했습니다.

마이크로소프트 연구진은 디펜더 리서치팀 등과 협력해 개발한 프로토타입 '프로젝트 아이어'를 발표했습니다. 파일의 출처나 목적에 대한 사전 정보 없이도 역어셈블러와 디컴파일러를 직접 다루며 악성 여부를 판단하는 시스템입니다.

특히 마이크로소프트 내부에서 특정 APT 공격 샘플을 자동 차단할 수 있는 수준의 '유죄 판결 보고서'를 최초로 단독 작성해 낸 리버스 엔지니어는 인간 전문가가 아닌 바로 이 프로젝트 아이어였습니다. 디펜더는 이 보고서를 바탕으로 해당 위협을 즉시 차단했습니다.

기드라 다루고 증거 로그 남기는 AI

기존 보안 자동화가 한계에 부딪혔던 이유는 소프트웨어의 난독화나 디버깅 방지 기능 자체가 악성인지 정상 프로그램의 보호 조치인지 컴퓨터가 단번에 판별하기 어렵기 때문이었습니다.

프로젝트 아이어는 대형언어모델이 기드라와 angr, 프로젝트 프레타 기반 메모리 샌드박스 같은 실제 분석 도구를 API로 제어하도록 설계됐습니다.

파일 구조를 분류한 뒤 제어 흐름 그래프를 그려 시스템의 기준 메모리 모델을 세우고, 주요 함수를 단계별로 역컴파일하며 의심 행위를 추적합니다. 모든 추론 과정은 감사 가능한 '증거 체인'으로 낱낱이 기록됩니다.

모델이 무리한 추론을 내놓지 못하도록 전문가 기준과 대조해 주장을 검증하는 검증 도구도 탑재했습니다. 윈도우 드라이버 데이터셋 테스트에서 아이어는 98%의 정밀도와 83%의 재현율을 기록했고, 정상 파일 오탐률은 2%에 불과했습니다.

왜 중요한가

마이크로소프트 디펜더는 매달 10억 대가 넘는 기기를 검사하지만, 고도화된 타깃 파일은 결국 보안 전문가의 육안 분석을 거쳐야 해 인력 소진 문제가 심각했습니다.

우리가 보기에 아이어의 가장 큰 장점은 언어모델을 단순 판별기로 쓰지 않고 도구 제어자로 삼아 '추적 가능한 증거'를 남기게 만들었다는 점입니다. 결과가 불투명하면 보안 현장에서 AI 분석을 채택하기 어려운데, 이 장벽을 실용적으로 걷어냈습니다.

다만 83%의 재현율은 여전히 열 개 중 두 개에 가까운 악성 파일을 놓칠 수 있다는 뜻이기도 합니다. 당장 사람 분석가를 대체하기보다는 대기열에 쌓인 수천 건의 난제를 먼저 걸러내 주는 든든한 1차 분석 보조 역할로 도입할 때 가치가 가장 클 것으로 보입니다.