오픈AI, 프론티어 AI의 파국적 위험 대비할 전담팀 신설

AI가 인간의 일자리를 대체할 것인가를 두고 논쟁이 이어지는 사이, OpenAI는 훨씬 더 극단적인 시나리오에 대비하기 시작했습니다. 미래의 최첨단 모델 가중치가 악의적인 세력에 유출된다면 어떤 일이 벌어질지에 대한 고민입니다.

OpenAI는 이러한 재앙적 위험에 선제적으로 대응하기 위해 Preparedness라는 전담 팀을 신설했습니다.

이 팀은 Aleksander Madry 교수가 이끌며, 현재 개발 중인 차세대 모델부터 미래의 범용인공지능 수준 시스템까지 아우르는 역량 평가와 레드팀 운영을 맡습니다.

4대 치명적 위험과 개발 정책

이들이 감시하려는 대상은 단순한 욕설 필터링 수준의 안전성이 아닙니다.

Preparedness 팀이 집중 관리하는 위험 영역은 네 가지입니다. 개인 맞춤형 설득, 사이버 보안 위협, 화학·생물·방사능·핵 위협, 그리고 AI의 자율적 복제와 적응 능력입니다.

팀의 핵심 과제는 이들 위험을 예측하고 방어하는 체계를 구축하는 것입니다. 이를 위해 위험 기반 개발 정책을 수립하여 위험 평가 기준과 단계별 보호 조치, 개발 과정 전반의 책임 소재를 명문화하기로 했습니다.

AI가 위험한 능력을 획득하기 전에 선제적으로 브레이크를 걸 수 있는 내부 시스템을 마련하겠다는 구상입니다.

2만 5천 달러를 걸고 찾은 악용 시나리오

연구실 내부 시각만으로는 한계가 있기에, OpenAI는 미지의 위험을 발굴하는 챌린지도 함께 진행했습니다.

재앙적 오용 사례를 제안한 상위 10개 팀에 각각 2만 5천 달러 상당의 API 크레딧을 지급하고, 우수 참여자를 신설 팀 인재로 영입하는 방식입니다.

여러 언어로 수백 건의 제안이 접수되었으며, 최종 선정된 시나리오에는 섬뜩할 정도로 구체적인 내용들이 포함되었습니다. 무선 주파수를 교란해 비행기 추락을 유도하는 방안, 특정 국가의 금융 위기를 촉발하는 공격, 환자의 투약량을 조작하는 시나리오 등이 상을 받았습니다.

주목할 만한 점은 참가자의 약 70%가 AI의 설득력 강화 위험을 지목했다는 사실입니다. 많은 전문가들이 모델을 통한 여론 조작, 정치적 양극화, 온라인 급진화를 가장 현실적인 위협으로 보고 있었습니다.

왜 중요한가

우리는 OpenAI의 이번 조치가 막연한 파멸론을 구체적인 엔지니어링 지표로 전환했다는 점에서 영리한 접근이라고 봅니다.

그동안의 안전 논의는 탁상공론에 그치거나 SF 영화식 공포에 머무는 경우가 많았습니다. 생화학 무기나 자율 복제처럼 구체적인 카테고리를 설정하고 측정 가능한 평가 틀을 만든 것은 분명 진전입니다.

일반 개발자와 기업 입장에서는 향후 제공될 최첨단 모델의 API 제약이 한층 까다로워질 것임을 예고하는 신호이기도 합니다. 사회공학적 기법이나 자율 실행에 가까운 기능일수록 엄격한 모니터링을 거치게 될 가능성이 큽니다.

하지만 명백한 한계도 존재합니다. 결국 위험 기준을 정하고 자체 테스트를 거쳐 배포 여부를 결정하는 주체가 OpenAI 내부 조직이라는 점입니다. 규제 당국이나 외부의 독립적인 검증 없이 기업 스스로 그어 둔 안전선에만 의존해야 한다는 점은 여전히 불안 요소로 보입니다.