OpenAI, 신규 모델 'o1' 사고 과정 파헤치는 사용자에 이용 정지 경고

숨길수록 더 파헤치고 싶은 법입니다. OpenAI가 추론 능력을 앞세운 새로운 모델 제품군 o1을 선보인 지 얼마 지나지 않아, 모델의 내부 사고 과정을 들여다보려던 사용자들에게 잇따라 계정 차단 경고 메일이 발송되고 있습니다.

단순한 호기심으로 프롬프트를 몇 줄 입력했다가 제재 명단에 오른 연구자들도 나왔습니다.

화면에 보이는 생각은 필터링된 요약본

기존 GPT-4o와 달리 o1-preview와 o1-mini는 답변을 내놓기 전에 단계별로 문제를 분석하도록 학습되었습니다. ChatGPT 화면에서도 이 추론 과정을 펼쳐서 확인할 수 있습니다.

하지만 사용자에게 공개되는 내용은 원본 사고 과정이 아닙니다. OpenAI는 내부 규칙에 따라 원래의 사고 사슬을 감추고, 별도의 두 번째 모델을 통해 걸러낸 요약본만 보여주도록 설계했습니다.

가공되지 않은 원본 사고 로그를 확인하려는 해커와 보안 연구자들은 즉각 탈옥 기법을 동원해 o1의 입을 열려고 시도했습니다.

추론 흔적이라는 단어만 써도 경고장

OpenAI의 대응은 매우 신속하고 단호했습니다. 시스템이 사용자 질문을 실시간으로 감시하며 차단 기준을 들이대고 있습니다.

스케일 AI의 프롬프트 엔지니어 라일리 굿사이드를 비롯한 여러 이용자들은 대화 도중 reasoning trace 같은 표현을 입력하거나 모델의 추론 방식 자체를 묻기만 해도 경고 메일을 받았다고 전했습니다.

해당 안내문은 안전장치 우회를 금지하는 이용 약관을 위반했다고 지적하며, 계속 시도할 경우 o1의 내부 명칭인 추론 기능이 탑재된 GPT-4o 사용 권한을 박탈하겠다고 경고했습니다.

모질라에서 생성형 AI 버그 바운티 프로그램을 이끄는 마르코 피게로아 역시 정상적인 레드팀 보안 연구를 수행하다가 경고 메일을 받고 차단 위험에 처했다며 불만을 드러냈습니다.

왜 중요한가

AI 연구자나 개발자라면 지금 시점에 o1의 추론 과정을 깊게 파고드는 시도는 피하는 것이 좋습니다. 단순한 실험만으로도 최신 모델 접근 권한이 즉시 차단될 수 있습니다.

이번 사태는 추론형 모델을 둘러싼 기술 보안의 딜레마를 선명하게 보여줍니다. 원본 사고 과정에는 모델의 잠재적 취약점은 물론, 경쟁사가 데이터를 추출해 자사 모델을 학습시킬 수 있는 핵심 노하우가 고스란히 담겨 있기 때문입니다.

저희가 보기에 OpenAI의 이번 조치는 다소 성급하고 공격적입니다. 핵심 자산을 보호하려는 의도는 충분히 이해할 수 있지만, 정당한 보안 연구까지 위협하며 계정 정지를 남발하는 방식은 장기적으로 연구 생태계의 신뢰를 갉아먹을 위험이 있습니다.