오픈AI, 아동 성착취물 차단 대책 발표…신종 악용 패턴 공개

AI가 이미지를 분석하고 긴 이야기를 지어내는 능력이 정교해지면서, 이를 악용하려는 시도 역시 상상 이상으로 교묘해지고 있습니다.

OpenAI는 자사 모델을 악용한 아동 성 착취 및 학대물(CSAM/CSEM) 생성과 유통을 차단하기 위한 기술적 대응 현황과 함께, 최근 현장에서 포착된 신종 악용 패턴을 상세히 공개했습니다.

단순 이미지 생성을 넘어선 교묘한 우회 수법

아동 보호 대책이라고 하면 흔히 부적절한 이미지 생성을 차단하는 것만 떠올리기 쉽습니다. 하지만 OpenAI가 밝힌 실제 악용 사례들은 훨씬 음성화되어 있습니다.

가장 대표적인 수법은 모델의 시각 분석 기능을 악용하는 것입니다. 불법적인 이미지를 ChatGPT에 업로드한 뒤, 그 장면에 무엇이 묘사되어 있는지 상세하게 텍스트로 설명해 달라고 요구하는 식입니다.

불법 이미지나 맥락을 스토리의 일부로 밀어 넣으며 성적인 역할극에 끌어들이려 하거나, 미성년자가 연루된 학대적 가상 소설을 쓰도록 유도하는 시도도 지속해서 적발되고 있습니다.

이에 대응해 OpenAI는 전문 비영리단체 쏜(Thorn)의 검증된 해시 데이터베이스 매칭 기술과 CSAM 분류기를 도입해 업로드 파일을 검사하고 있습니다. 적발된 계정은 즉시 영구 정지되며 미국 실종학대아동방지센터(NCMEC)에 통보됩니다. API를 이용하는 개발자가 관리 책임을 다하지 않고 방치할 경우 개발자 계정 자체가 차단됩니다.

모의 침투 테스트조차 법에 걸리는 현실적 딜레마

이번 발표에서 OpenAI는 AI 안전 연구의 커다란 법적 걸림돌 하나를 수면 위로 끌어올렸습니다.

미국 현행법상 CSAM은 소지나 제작 자체가 엄격히 불법입니다. 이는 모델의 취약점을 사전에 찾아내는 '레드팀' 연구진이 모의 데이터조차 시스템 스트레스 테스트에 쓸 수 없다는 뜻이기도 합니다.

공격을 방어해야 할 보안 팀이 정작 현실적인 공격 시뮬레이션을 돌려보지 못한 채 방어벽을 세워야 하는 불리한 싸움을 하고 있는 셈입니다.

OpenAI가 뉴욕주의 관련 법안 지지를 표명하며 정책 프레임워크 개선을 요구하는 이유도 여기에 있습니다. 기술 기업과 사법 당국이 합법적인 테두리 안에서 능동적으로 위협을 탐지하고 안전 연구를 수행할 수 있는 법적 안전장치가 절실하다는 설명입니다.

왜 중요한가

멀티모달 AI의 발전이 가져온 그늘이 텍스트 생성과 이미지 분석이라는 일상적 기능에까지 깊숙이 침투했음을 보여줍니다.

단순히 위험한 단어를 금지하는 수준으로는 텍스트 소설 생성이나 시각적 묘사 요청을 통한 우회 시도를 막기 어렵습니다. OpenAI가 이러한 구체적 공격 기법을 투명하게 공개한 것은 다른 모델 개발사들에게도 유의미한 가이드라인이 될 것으로 보입니다.

동시에 안전 테스트 자체가 범죄가 될 수 있는 낡은 법률 체계의 한계도 명확히 드러났습니다. 입법이 기술의 변화 속도를 따라가지 못하면 정작 방어자들의 손발만 묶이는 역효과가 납니다.

OpenAI의 API를 활용해 미성년자 타깃 서비스를 만드는 개발사들에게도 경각심을 줍니다. 플랫폼 차원에서 개발자 연대 책임을 묻고 계정을 영구 퇴출하겠다고 공언한 만큼, 애플리케이션 레벨의 필터링 시스템 구축은 이제 선택이 아닌 필수가 되었습니다.