OpenAI, ChatGPT 폭력 방지 대책 공개: 즉각 신고 체계 및 성인 비상연락망 예고

만약 누군가 AI에게 폭력적인 계획을 털어놓거나 위험한 신호를 보낸다면, AI는 단순한 비밀 상담사로 남아야 할까요, 아니면 경찰을 불러야 할까요?

OpenAI는 ChatGPT가 폭력과 유해 콘텐츠를 감지하고 조치하는 세부 보안 절차를 공개했습니다. 모델 학습 단계의 거절 기준부터 자동 탐지 시스템, 사람에 의한 문맥 검토, 그리고 실제 사법기관 신고로 이어지는 대응 체계를 공식적으로 설명한 것입니다.

단발성 키워드가 아닌 장기 대화 패턴 추적

위험을 가려내는 일은 금칙어를 걸러내는 것처럼 단순하지 않습니다. 단일 메시지만 보면 평범한 역사나 뉴스 질문처럼 보여도, 수십 차례 대화가 이어지거나 여러 세션이 겹치면 실제 위협으로 번지는 경우가 있기 때문입니다.

OpenAI는 장기적이고 위험도가 높은 대화에서 나타나는 미묘한 경고 신호를 포착하도록 모델을 지속해서 강화하고 있으며, 이에 관한 구체적인 내용을 몇 주 내로 추가 공개하겠다고 밝혔습니다. 기본적으로 폭력의 역사나 예방에 관한 교육적 질문에는 답하되, 폭력을 실행할 수 있는 전술, 지침, 계획 수립 요청은 단호히 거부하도록 훈련합니다.

대규모 감시는 분류기와 블랙리스트, 해시 매칭 기술뿐만 아니라 추론 모델까지 결합된 자동 감지 시스템이 담당합니다.

시스템에 의해 플래그가 지정되면 보안 권한을 갖춘 전문 검토 인력이 개입합니다. 자동화 도구가 놓칠 수 있는 뉘앙스를 파악하기 위해 전체 대화의 맥락과 행동 패턴을 평가하는 과정입니다. 위반이 확인되면 계정이 즉시 차단되고 연관 계정이나 재가입 시도까지 차단됩니다. 특히 타인에게 임박하고 신뢰할 만한 위해가 발생할 위험이 감지되면 경찰에 통보합니다. 실행 시점이나 장소가 대화에 명시되지 않았더라도 전문가 판단에 따라 신고가 이뤄질 수 있습니다.

아울러 자해 위험에 대한 대응도 강화하고 있습니다. 지난해 가을 청소년 보호를 위한 보호자 통제 기능을 도입한 데 이어, 성인 이용자가 위기 상황 시 도움을 받을 수 있는 신뢰할 수 있는 연락처 지정 기능도 곧 도입할 예정입니다.

왜 중요한가

일반 사용자 입장에서 이번 발표의 가장 큰 시사점은 AI와의 대화가 결코 외부와 완벽히 차단된 밀실이 아니라는 점입니다. 평소에는 프라이버시가 보호되지만, 중대한 위험 징후가 포착되는 순간 사람 검토자가 개입하고 최악의 경우 경찰이 개입할 수 있습니다. 민감한 소재를 다루는 연구자나 창작자라면 이러한 안전 경계선을 명확히 인지하고 사용할 필요가 있습니다.

업계 전반으로 보면, 생성형 AI의 안전 정책이 수동적인 텍스트 차단을 넘어 능동적인 현실 개입의 영역으로 이동하고 있습니다. 위험한 답변을 거절하는 데 그치지 않고, 대형 소셜 미디어 플랫폼처럼 모니터링 파이프라인과 법 집행 기관 연계 체계를 갖추는 것이 AI 기업의 새로운 표준으로 자리 잡는 모양새입니다.

우리는 OpenAI의 이러한 접근이 정교한 추론 모델과 외부 전문가를 활용해 오탐을 줄이려 했다는 점에서 영리하다고 봅니다. 하지만 명확한 범행 계획이 언급되지 않은 상태에서 정황 추론만으로 경찰에 통보할 수 있다는 기준은 사생활 침해와 오발령에 대한 심각한 우려를 남깁니다. 현실 안전을 지키는 방패와 일상을 감시하는 도구 사이에서 균형을 잡는 일은 앞으로 더 까다로운 과제가 될 것입니다.