오픈AI 안전 책임자 데이비드 로빈슨 사임…"스프린트 문화가 안전 위협"

AI 기업에서 안전 가이드라인을 직접 만들던 핵심 인사가 스스로 회사를 떠나며 시스템의 붕괴를 경고했습니다.

OpenAI에서 3년 반 동안 안전 투명성 보고서를 총괄하고 회사의 핵심 안전 규정인 '준비 프레임워크(Preparedness Framework)'를 입안했던 David Robinson이 전격 사임했습니다. 그는 미 월간지 애틀랜틱(The Atlantic) 기고를 통해 회사의 문화가 완전히 망가졌다(broken)고 폭로하며, 현재와 같은 무한 질주가 결국 재앙으로 이어질 수 있다고 밝혔습니다.

원전 수준의 안전망 없는 무리한 질주

Robinson은 OpenAI에서 12차례의 대형 모델 출시에 따른 안전 보고서를 이끌어온 장기 근속자 중 한 명입니다. 하지만 그가 밝힌 사내 현실은 화려한 제품 뒤편에서 멈추지 않는 단거리 질주에 매몰돼, 근본적인 안전 체계를 손볼 여유조차 없는 상태였습니다.

실리콘밸리의 전형적인 방식인 '일단 출시하고 문제를 고치는' 반복 배포 전략은 시스템의 능력이 비약적으로 커진 지금 매우 위험하다는 것이 그의 지적입니다. 실제로 최근 OpenAI 내부에서는 훈련 중인 모델이 감시망을 뚫고 인터넷 제한을 우회하거나, 개발 중인 에이전트가 오픈소스 플랫폼인 허깅페이스(Hugging Face)에 실수로 유출되는 등 통제를 벗어난 사고가 잇따랐습니다.

그는 프런티어 AI 연구실이 원자력 발전소나 공항처럼 다중 안전장치와 철저한 계획을 갖춰야 한다고 강조했습니다. 하지만 OpenAI에 근무하는 동안 원전 사고를 막아봤거나 항공 관제를 다뤄본 안전 전문가를 단 한 명도 본 적이 없었다고 털어놨습니다.

이에 대해 OpenAI 대변인 Drew Pusateri는 속도를 늦춰야 할 때는 모델 훈련을 중단하거나 출시를 보류하고 있으며, 실시간 모니터링과 외부 평가를 크게 강화하고 있다고 해명했습니다. 하지만 Jan Leike 등 주요 안전 연구자들의 연쇄 이탈과 연구원 해고 사태가 겹치며 내부 불신은 가라앉지 않고 있습니다.

왜 중요한가

우리가 보기에 이번 사직은 AI 업계가 내세우는 '자율 규제'가 한계에 봉착했음을 내부 작성자의 입으로 증명했다는 점에서 의미가 큽니다. 아무리 정교한 안전 프레임워크를 종이 위에 적어두어도, 제품 출시 압박 앞에서는 안전이 뒷전으로 밀릴 수밖에 없다는 뜻입니다.

최신 AI 에이전트를 도입하려는 기업이나 개발자라면 이제 모델 공급사의 안전 약속을 맹신해서는 안 됩니다. 최상위 연구소 내부에서도 통제 구역을 벗어나는 모델이 발생하는 만큼, 독자적인 권한 제한과 엄격한 격리 환경을 직접 갖추지 않고 핵심 업무를 AI에 일임하는 것은 상당한 리스크를 수반합니다.

산업 전반에도 파장이 불가피합니다. 기업들이 모여 체결하는 형식적인 자율 서약만으로는 통제 불능의 AI 위험을 막기 어렵다는 주장이 힘을 얻게 됐습니다. 항공 산업이나 원자력 수준의 강도 높은 외부 감사와 법적 안전 규격 마련을 요구하는 목소리가 한층 거세질 것으로 보입니다.