구글·오픈AI·로블록스·디스코드, 아동 안전 비영리단체 'ROOST' 출범

미성년자가 이용하는 온라인 커뮤니티나 게임을 운영해 본 팀이라면, 유해 콘텐츠를 걸러내는 작업이 얼마나 막대한 비용과 인력을 요구하는지 잘 알고 있을 것입니다. 특히 중소 규모 개발사는 자체 모니터링 AI를 구축할 여력이 사실상 없습니다.

Google, OpenAI, Roblox, Discord가 온라인 아동 안전 강화를 목표로 하는 비영리 단체 ROOST(Robust Open Online Safety Tools)를 공동 설립했습니다. 전 Google CEO인 에릭 슈미트도 창립 파트너로 참여했습니다.

ROOST는 맥거번 재단, 나이트 재단 등으로부터 2,700만 달러 이상의 기금을 확보해 향후 4년간의 운영 기반을 마련했습니다. 이들의 핵심 과제는 아동 성착취물(CSAM)을 감지하고 검토 및 신고할 수 있는 무료 오픈소스 AI 도구를 만들어 배포하는 것입니다.

빅테크의 검열 무기를 오픈소스로 개방

현재 온라인 안전 인프라는 플랫폼마다 파편화되어 있어, 방어 체계가 취약한 소규모 서비스가 범죄의 표적이 되기 쉬웠습니다.

ROOST는 검증된 AI 학습용 데이터셋을 제공하고, 거대언어모델(LLM)을 활용해 기존에 흩어져 있던 검열 도구를 하나로 통합할 계획입니다. Roblox의 엔지니어링 및 신뢰·안전 부문 부사장인 나렌 코네루는 다른 기업들이 간단한 API 호출만으로 연동할 수 있는 검열 시스템을 ROOST 차원에서 호스팅할 수도 있다고 밝혔습니다.

참여 기업들도 기술 자산을 내놓습니다. Discord는 Meta, Google과 함께 진행해 온 정보 공유 프로젝트 랜턴(Lantern)의 노하우를 접목하고, Roblox는 음성 대화 속 욕설, 괴롭힘, 부적절한 성적 메시지를 탐지하는 자체 오디오 AI 모델을 연내 오픈소스로 공개할 예정입니다.

다만 마이크로소프트의 대표적인 이미지 분석 기술인 포토DNA(PhotoDNA) 등 기존 1차 방어선 도구들과 이 시스템이 어떻게 맞물려 작동할지는 아직 구체적으로 공개되지 않았습니다.

규제 철퇴 앞에서 뭉친 플랫폼들

이들이 손을 맞잡은 배경에는 전 세계적으로 거세지는 규제 압박이 있습니다.

미국 실종학대아동방지센터(NCMEC)에 따르면 아동 착취 의심 보고 건수는 2022년과 2023년 사이에 12%나 증가했습니다. 특히 Roblox와 Discord는 성인이 감시 없이 미성년자에게 접근하는 것을 방치했다는 이유로 소송을 당하는 등 거센 비판을 받아왔습니다.

여기에 생성형 AI 기술의 발전으로 유해 콘텐츠 제작 문턱마저 낮아지자, 의회와 규제 당국이 칼을 빼들기 전에 플랫폼들이 자율 규제 카드를 꺼내 든 셈입니다. Discord는 이번 발표와 함께 상대방에게 알리지 않고 메시지와 알림을 숨길 수 있는 무시(Ignore) 기능도 새롭게 선보였습니다.

왜 중요한가

소셜 기능이나 멀티플레이를 도입하려는 스타트업과 인디 개발자에게 ROOST는 안전 인프라 구축 비용을 획기적으로 낮춰줄 수 있는 기회입니다. 거대 플랫폼들이 수년에 걸쳐 다듬은 오디오 및 텍스트 모니터링 모델을 무료나 저렴한 API로 쓸 수 있게 된다면, 서비스 초기 단계부터 강력한 안전장치를 확보할 수 있습니다.

산업 전반으로 보면 공격자들과의 싸움이 개별 플랫폼 차원에서 연합 방어선으로 진화하는 계기가 됩니다. 한 플랫폼에서 적발된 악성 패턴과 데이터가 공유되면, 규제망이 느슨한 틈새 서비스를 노리는 범죄 행위를 사전에 차단하기가 훨씬 수월해집니다.

우리가 보기에 이 연합은 영리한 방어 전략이지만 위험 요소도 안고 있습니다. 검열 도구와 데이터셋을 오픈소스로 공개할 경우, 공격자 역시 모델의 허점을 파악해 필터링을 우회하는 적대적 기법을 더 쉽게 연구할 수 있기 때문입니다. 개방성과 방어력 사이의 균형을 어떻게 잡을지가 이 프로젝트의 실효성을 가를 것으로 보입니다.