OpenAI, 심각한 위험 대응 위한 '준비도 프레임워크' 개정

AI 모델이 똑똑해지는 속도가 너무 빨라지자 재앙적 위험을 막기 위한 안전 규칙도 판을 새로 짰습니다.

OpenAI는 첨단 AI 모델이 초래할 수 있는 극단적 위험을 추적하고 대비하는 지침인 '준비도 프레임워크(Preparedness Framework)'의 개정판을 발표했습니다.

추론 모델의 발전으로 거대한 재학습 없이도 성능이 껑충 뛰는 환경이 되자, 위험 평가와 안전장치 운영 방식을 한층 더 명확하게 다듬은 것입니다.

기준은 5가지로 좁히고 위험 단계는 2개로 단순화

개정된 프레임워크는 중점 추적할 고위험 능력을 판별하는 기준으로 5가지를 제시했습니다. 그럴듯한지, 측정이 가능한지, 결과가 심각한지, 완전히 새로운 위협인지, 즉각적이거나 되돌릴 수 없는 피해인지 따집니다.

집중 추적 대상은 생화학, 사이버 보안, AI의 자기 개선 능력 등 세 가지 영역으로 정리되었습니다. 과학 연구에 큰 도움을 주지만 악용 소지도 뚜렷한 이중 용도 기술들입니다.

동시에 '연구 범주'도 새로 지정했습니다. 장기 자율성, 자율 복제 및 적응, 안전장치 무력화, 핵 및 방사능 위협과 더불어 AI가 평가를 속이기 위해 일부러 실력을 숨기는 '의도적 성능 저하(Sandbagging)'가 여기에 포함되었습니다.

정치 로비나 여론 조작 같은 설득 관련 위험은 이번 프레임워크에서 빠졌습니다. 이는 모델 스펙(Model Spec)과 서비스 이용 정책, 오남용 모니터링을 통해 별도로 다루기로 했습니다.

위험 단계는 두 단계로 간소화되었습니다. 기존의 위험 경로를 증폭하는 '높은 역량'은 배포 전 안전장치가 필수이고, 전례 없는 새로운 위험 경로를 여는 '치명적 역량'에 도달하면 개발 단계부터 안전장치를 가동해야 합니다.

테스트 자동화와 경쟁사를 의식한 예외 조항

평가 방식도 대폭 손질했습니다. 추론 능력이 빠르게 개선되는 속도에 맞추기 위해 자동화된 평가 시스템을 구축하고, 여기에 전문가 심층 분석을 결합해 수시로 안전성을 점검합니다.

기존의 준비도 점수표 대신 역량 보고서와 함께 안전장치 설계와 효과를 검증하는 보호 보고서를 함께 발행하기로 했습니다.

눈길을 끄는 대목은 시장 변화에 대응하는 예외 규정입니다. 만약 경쟁사가 적절한 보호 장치 없이 고위험 시스템을 먼저 출시할 경우, OpenAI도 자체 요구 기준을 조정할 수 있도록 열어두었습니다.

물론 위험 환경이 실제로 바뀌었는지 엄밀히 확인하고, 기준 조정을 공개적으로 인정하며, 여전히 더 높은 수준의 보호 상태를 유지한다는 단서를 달았습니다.

왜 중요한가

생화학이나 핵 위험은 일반 사용자와 멀어 보이지만, 장기 자율성이나 AI의 의도적 성능 저하 같은 항목은 앞으로 우리가 마주할 자율 에이전트의 안전과 직결됩니다. AI가 사람을 속이거나 주어진 울타리를 스스로 벗어날 가능성을 개발사가 공식 추적하기 시작했다는 뜻이기 때문입니다.

설득 위험을 다른 정책으로 넘기고 관리 단계를 두 단계로 좁힌 것은 실무적으로 현명한 선택으로 보입니다. 모호한 기준에 매달리기보다 당장 치명적인 위협에 안전 자원을 집중하겠다는 의도입니다.

하지만 경쟁사의 출시 상황에 따라 안전 기준을 손볼 수 있게 한 조항은 뚜렷한 불안 요소를 남깁니다. 상업적 경쟁이 극에 달했을 때 안전 원칙이 타협될 수 있는 명분을 미리 마련해 둔 셈이기 때문입니다. 아무리 공개 선언과 검증 절차를 거친다고 해도, 치열한 속도전 속에서 안전선이 후퇴하는 빌미가 될 위험은 여전히 남아 있습니다.