오픈AI, 안전 프레임워크 갱신…이사회에 위험한 AI 출시 거부권 부여

11월의 극적인 경영권 분쟁을 겪은 OpenAI가 안전에 대한 우려를 잠재우기 위한 새로운 거버넌스 카드를 꺼내 들었습니다.

OpenAI는 12월 18일, 차세대 프론티어 AI 모델의 치명적 위험을 통제하기 위한 개정판 '대비 프레임워크(Preparedness Framework)'를 발표했습니다. 핵심은 기술 부서 위에 '안전 자문 그룹'을 신설하고, 이사회에 고위험 AI 출시를 뒤집을 수 있는 거부권을 공식 부여한 것입니다.

재앙적 위험의 기준과 4대 영역 평가

OpenAI가 규정한 '재앙적 위험'은 수천억 달러 규모의 경제적 피해를 주거나 다수의 사람에게 심각한 상해 및 사망을 초래할 수 있는 위험을 뜻합니다. 여기에는 인류 멸종과 같은 종말론적 시나리오도 포함됩니다.

프레임워크는 개발 중인 모델을 사이버 보안, 설득력(가짜 정보 및 여론 조작), 모델 자율성(스스로 행동하는 능력), CBRN(화학·생물·방사능·핵 위협) 등 네 가지 범주로 평가합니다.

방어 조치를 적용한 후에도 '높음(High)' 등급을 받은 모델은 배포할 수 없으며, 가장 심각한 '치명적(Critical)' 등급에 도달하면 추가 개발 자체가 전면 중단됩니다.

사이버 보안을 예로 들면, 공격자의 작업 효율을 일정 수준 높여주는 정도는 중간 위험이지만, 사람의 개입 없이 강력한 보안 타깃의 취약점 공격 코드를 직접 생성하면 고위험입니다. 대략적인 목표만 주어졌을 때 완전히 새로운 사이버 공격 전략을 스스로 수립하고 실행할 수 있다면 치명적 위험으로 분류되어 즉시 봉인됩니다.

이사회의 거부권, 과연 작동할까

개발진이 자체 평가를 느슨하게 하지 못하도록, OpenAI는 기술팀 위에 다기능 '안전 자문 그룹'을 배치했습니다. 이들이 작성한 권고안은 샘 올트먼 CEO와 미라 무라티 CTO 등 경영진과 이사회에 동시에 보고됩니다.

제품 출시 여부는 1차적으로 경영진이 결정하지만, 이사회는 이를 거부하고 뒤집을 권한을 갖습니다. 이는 지난 11월 사태처럼 경영진이 이사회 승인 없이 위험한 프로젝트를 밀어붙인다는 불신을 차단하기 위한 장치입니다.

그러나 실효성에 대한 의문은 남습니다. 안전 최우선론자였던 헬렌 토너는 이사회를 떠났고 일리야 수츠케버의 역할도 바뀐 상태입니다. 대신 래리 서머스, 브렛 테일러 같은 친기업적 인사들로 채워진 현재의 우호적 이사회가 경영진의 결정에 실제로 제동을 걸 수 있을지는 미지수입니다.

왜 중요한가

OpenAI 모델을 활용해 서비스를 개발하는 기업 입장에서는 향후 위험성이 높은 자율 기능이 어떤 기준에서 제한될지 가늠할 수 있는 명확한 가이드라인이 생겼습니다. 무리한 배포로 인한 법적·윤리적 리스크를 피할 수 있다는 점에서는 긍정적입니다.

업계 전반에는 위험 AI의 '개발 중단 기준'을 문서화해 공개했다는 점에서 상당한 압박으로 작용할 것입니다. 앤트로픽이나 구글 같은 경쟁사들도 비슷한 수준의 명문화된 안전 장치를 내놓아야 하는 처지가 되었으며, 규제 당국의 입법 가이드라인에도 직접적인 영향을 미칠 것으로 보입니다.

우리는 이번 발표가 매우 계산된 행보라고 봅니다. 이사회 권한 강화를 통해 경영진 독주에 대한 외부의 우려를 불식시키는 동시에, "공개조차 못 할 만큼 강력한 AI를 만들고 있다"는 고도의 기술 마케팅 효과까지 챙겼기 때문입니다. 다만 핵심 취약점은 여전히 투명성에 있습니다. 외부 독립 감사를 받겠다고는 밝혔으나 의사결정의 전 과정이 밀실에서 이뤄지는 만큼, 실제로 치명적 모델이 나왔을 때 대중이 이를 제대로 감시하기는 여전히 어렵습니다.