오픈AI, 프론티어 AI 모델 외부 제3자 안전 평가 체계 공개

AI 기업이 자체 모델의 안전성을 스스로 보증하는 방식은 늘 신뢰성 논란을 낳았습니다. 모델이 점차 고도화되고 감독을 피하려는 기만적 행동까지 연구되는 상황에서, 내부 평가만으로는 이용자와 규제 당국을 설득하기 어렵습니다.

OpenAI는 프론티어 AI의 안전성을 검증하기 위해 운영 중인 외부 제3자 평가 체계와 협력 원칙을 상세히 공개했습니다. GPT-4 시절부터 이어진 외부 협업 구조를 정리하며, GPT-5, ChatGPT Agent, 그리고 오픈 가중치 모델인 gpt-oss에 적용된 구체적 사례를 공유했습니다.

안전장치를 끄고 추론 과정까지 개방

OpenAI의 외부 평가는 크게 세 가지 방식으로 진행됩니다.

첫 번째는 생화학 안보, 사이버 공격, 장기 자율성, 기만 행위 등 고위험 영역에 대한 독립 평가입니다. OpenAI는 GPT-5 평가 과정에서 초기 체크포인트뿐만 아니라 안전장치를 제거한 모델 버전을 외부 기관에 제공했습니다. 모델 본연의 잠재 위험을 정확히 측정하기 위해서입니다.

특히 일부 기관에는 모델의 추론 과정을 직접 들여다볼 수 있는 생각의 사슬 접근 권한까지 부여했습니다. 모델이 테스트 중임을 인지하고 일부러 능력을 숨기는 행위를 잡아내기 위한 조치입니다. METR의 장기 자율성 테스트와 SecureBio의 바이러스학 능력 테스트가 대표적입니다.

두 번째는 방법론 검토입니다. 오픈 가중치 모델인 gpt-oss를 준비할 때, 악의적인 미세조정으로 위험 능력이 어디까지 증폭될 수 있는지 최악의 시나리오를 측정해야 했습니다. 대규모 연산 자원이 필요한 작업이었기에, 외부 기관이 직접 실험을 반복하기보다는 OpenAI의 실험 방식과 결과 데이터를 검토하고 결함을 수정하는 방식을 택했습니다.

세 번째는 해당 분야 전문가를 통한 직접 탐색입니다. ChatGPT Agent와 GPT-5 평가에서는 바이오 분야 전문가들이 참여해, 모델이 비숙련 초보자에게 실제 어느 수준까지 유의미한 실행 가이드를 제공할 수 있는지 측정했습니다.

왜 중요한가

우리는 OpenAI가 완제품 인터페이스 뒤에 숨지 않고, 안전장치를 끈 모델과 내부 추론 경로까지 외부 기관에 개방한 점을 긍정적으로 평가합니다. 고도화된 모델이 평가자를 속이거나 의도를 숨길 수 있는 단계에 접어든 만큼, 단순 챗봇 형태의 레드팀 테스트는 이미 한계에 부딪혔기 때문입니다.

엔터프라이즈 도입을 검토하는 기업 입장에서도, 제조사의 마케팅성 발표 자료 대신 METR이나 Apollo Research 같은 전문 평가 기관의 분석 보고서를 교차 검증할 수 있다는 점에서 실질적인 도움이 됩니다.

하지만 완전한 독립 감사로 보기에는 한계가 뚜렷합니다. 제3자 기관의 평가 보고서는 비공개 협약에 묶여 있으며, 공개 전 OpenAI의 사실 확인과 보안 검토를 거쳐야 합니다. 또한 최첨단 모델을 검증할 대규모 인프라가 대형 연구소에만 집중되어 있어, 외부 기관이 직접 실험하지 못하고 방법론 조언에 머무는 현실은 AI 안전 생태계가 풀어야 할 과제로 보입니다.