단순 프롬프트 평가는 끝났다: OpenAI, 제3자 AI 모델 평가 지침 공개

프롬프트를 넣고 답변 품질을 매기던 단순한 AI 벤치마크 방식은 이제 끝났습니다.

OpenAI는 프론티어 AI 모델을 검증하는 서드파티 평가 기관들을 위한 가이드라인을 발표했습니다. 핵심은 최신 모델의 성능이 모델 자체뿐만 아니라 주변을 둘러싼 실행 환경, 즉 '하네스(Harness)'의 구성에 따라 극적으로 달라진다는 점입니다.

하네스 설정 하나로 성능이 달라진다

하네스는 모델이 도구를 호출하고, 문맥을 관리하며, 오류 발생 시 재시도하도록 돕는 전체 스캐폴딩 구조를 뜻합니다. 긴 호흡으로 문제를 해결해야 하는 에이전트 환경일수록 이 하네스의 영향력은 절대적입니다.

OpenAI에 따르면 GPT-5.5를 사이버 공격 대응 환경에서 테스트할 때, 하네스에서 문맥 압축 기능을 켜서 핵심 정보를 유지하도록 하는 것만으로도 측정 점수가 눈에 띄게 향상되었습니다.

테스트에 투입하는 토큰 예산 역시 결과를 뒤흔듭니다. 영국 AI 안전 연구소(UK AISI)의 사이버 테스트에서는 토큰 예산을 1000만 개에서 1억 개로 늘리자 성능이 최대 59%나 치솟았으며, 최고 예산에서도 점수는 계속 상승 중이었습니다. 즉, 공개된 점수 대부분은 모델의 능력 한계가 아니라 주어진 자원의 한계일 뿐이라는 설명입니다.

꼼수와 '일부러 못하는 척' 경계해야

OpenAI는 평가 기관이 단순히 점수만 공개할 것이 아니라, 테스트 환경과 잠재적 위험 요소를 투명하게 밝혀야 한다고 촉구했습니다.

보고서에 반드시 기재해야 할 위험 요소로는 평가 채점 규칙의 허점을 악용하는 보상 해킹, 데이터 오염, 깨진 문제 외에도 모델이 테스트 중임을 인지하고 일부러 성능을 낮추는 '사보타주(Sandbagging)'가 꼽혔습니다.

안전장치 테스트 역시 실제 공격자 수준의 도구를 갖춰야 합니다. UK AISI는 GPT-5.5 레드팀 테스트 당시 코덱스를 활용해 탈옥 패턴을 반복 유지하는 전용 하네스를 직접 개발해 취약점을 찾아냈습니다. 단순한 프롬프트 테스트만으로는 심각한 보안 위협을 제대로 걸러낼 수 없다는 지적입니다.

왜 중요한가

이번 가이드는 AI 벤치마크가 단순한 순위표 경쟁에서 복잡한 시스템 공학의 영역으로 넘어갔음을 보여줍니다. 이제 모델은 단독으로 작동하는 챗봇이 아니라, 하네스라는 구동계와 결합해야 제 성능을 내는 복합 엔진에 가깝습니다.

기업과 개발자 입장에서는 외부 벤치마크 수치를 무작정 맹신해서는 안 됩니다. 어떤 스캐폴딩과 문맥 관리 도구를 썼는지 공개되지 않은 평가는 실무 도입 시 아무런 참고가 되지 않기 때문입니다.

우리는 OpenAI의 이번 조치가 외부 평가의 주도권을 쥐기 위한 영리한 포석이라고 봅니다. 평가 기준을 정밀하게 정의함으로써, 외부 기관에서 낮은 점수를 받았을 때 '하네스나 예산이 부족해 능력을 제대로 이끌어내지 못했다'고 방어할 근거를 마련한 셈입니다. 다만 이처럼 정교하고 자원 소모가 큰 평가 방식을 요구하게 되면, 자금력이 부족한 소규모 독립 평가 기관들은 프론티어 모델 검증에서 점차 배제될 위험도 있습니다.