OpenAI와 빅테크 기업들, 아동 안전 위한 '안전 설계 원칙' 공동 채택

생성형 AI의 텍스트와 이미지 생성 역량이 하루가 다르게 정교해지면서, 기술이 아동을 향한 성적 착취물 제작에 악용될 수 있다는 우려는 업계 최대의 위협으로 떠올랐습니다.

OpenAI와 앤트로픽(Anthropic)을 비롯해 아마존, 구글, 메타, 마이크로소프트, 미스트랄 AI, 스테빌리티 AI, 그리고 오픈소스 모델 커뮤니티인 시비타이(Civitai)까지 주요 AI 기업들이 한자리에 모였습니다. 이들은 아동 성착취 방지 비영리단체 쏜(Thorn)과 올 테크 이즈 휴먼(All Tech Is Human)이 주도하는 '설계 기반 안전(Safety by Design)' 원칙을 전격 도입하기로 합의했습니다.

이번 협약의 목적은 분명합니다. AI 모델의 기획부터 배포, 유지보수에 이르는 전 과정에 안전장치를 내장해 아동 성학대물(CSAM) 및 AI 생성물(AIG-CSAM)의 생성을 사전에 원천 차단하겠다는 것입니다.

모델 생애주기 전반에 안전장치 구축

기업들이 합의한 프레임워크는 개발, 배포, 유지보수의 세 단계로 촘촘하게 구성되어 있습니다.

개발 단계에서는 학습 데이터 수집 단계부터 아동 성착취물을 사전에 감지해 제거하고, 관련 데이터가 확인되면 미국 실종학대아동방지센터(NCMEC) 등 관계 당국에 즉각 신고해야 합니다.

출시 전 단계에서는 모델의 취약점을 파고드는 레드팀 스트레스 테스트를 거쳐야 하며, 이를 통해 적대적 탈옥 공격을 선제적으로 차단합니다.

배포 단계에서는 사용자의 입력값과 모델의 출력값을 실시간으로 검사하는 차단 시스템을 갖추고, 신고 기능과 모델 카드를 통한 안전성 정보 공개를 의무화합니다.

운영 단계에서는 오픈소스 인텔리전스(OSINT) 기법을 활용해 악용 패턴을 지속해서 추적하며, 협약에 참여한 기업들은 매년 안전 조치 이행 보고서를 공개하기로 했습니다.

앤트로픽의 경우 현재 클로드 모델이 이미지 입력을 처리할 수는 있지만, 이미지 생성 출력 기능은 제공하지 않는 방식으로 다중 모달 악용 위험을 물리적으로 통제하고 있다고 덧붙였습니다.

왜 중요한가

이번 연대에서 가장 눈여겨볼 대목은 참여 기업들의 구성입니다.

중앙 서버에서 API를 통제하는 OpenAI나 마이크로소프트뿐만 아니라, 미스트랄 AI와 스테빌리티 AI 같은 오픈 모델 개발사, 심지어 이용자들의 파인튜닝 모델이 활발히 공유되는 시비타이까지 서명에 동참했습니다.

그동안 오픈소스 생태계는 안전 필터링의 사각지대라는 비판을 자주 받아왔습니다. 하지만 폐쇄형과 오픈소스 진영이 아동 안전이라는 절대적인 레드라인 아래 하나의 기준을 세웠다는 점은, 향후 각국 규제 당국의 무차별적인 규제를 방어하는 데 강력한 근거가 됩니다.

사후 약방문식 차단이 아니라 데이터 정제와 설계 단계부터 책임을 지는 구조는 현시점에서 매우 현실적이고 영리한 선택으로 보입니다.

다만 관건은 실행력입니다. 클라우드 기반 API는 제재가 쉽지만, 가중치 파일이 로컬 PC로 내려간 뒤 오프라인에서 개조되어 쓰일 때 커뮤니티 플랫폼들이 이를 어디까지 실질적으로 통제할 수 있을지는 여전히 풀기 어려운 숙제로 남아 있습니다.