OpenAI, GPT-4 활용한 콘텐츠 모더레이션 시스템 제안

콘텐츠 모더레이션은 수많은 플랫폼 운영진에게 가장 소모적이고 심리적 고통이 큰 작업 중 하나로 꼽힙니다.

OpenAI는 공식 블로그를 통해 대표 생성형 AI 모델인 GPT-4를 콘텐츠 모더레이션 업무에 활용하는 새로운 워크플로를 제안했습니다.

OpenAI는 이미 일부 고객사가 이 방식을 적용 중이며, 새로운 정책을 수립해 실제 적용하기까지 걸리는 시간을 단 몇 시간으로 줄였다고 밝혔습니다.

정책 전문가와 AI가 근거를 따져 묻는 구조

OpenAI의 방식은 모더레이션 판단을 AI에게 무작정 일임하는 구조가 아닙니다.

먼저 정책 담당자가 자연어로 세부 운영 규정을 작성하고, 위반 사례와 정상 게시물이 섞인 테스트 데이터셋을 마련합니다.

전문가가 직접 라벨을 지정한 뒤, 라벨을 제거한 원본 데이터를 GPT-4에 입력해 둘 사이의 판단이 일치하는지 비교합니다.

의견 차이가 발생하면 전문가는 GPT-4에게 해당 판단을 내린 추론 이유를 요구하고, 규정의 모호한 부분을 찾아내 가이드라인을 다듬습니다.

OpenAI는 이 접근법이 모델의 내재된 판단에 의존하는 Anthropic 같은 경쟁사 방식보다 유연하며 플랫폼별 요구에 신속히 맞출 수 있다고 주장했습니다.

여전히 풀지 못한 AI 편향의 한계

자동화 모더레이션 도구 자체는 완전히 새로운 개념이 아닙니다.

Google 지그소 팀이 개발한 Perspective API는 수년 전부터 상용화되었으며, Spectrum Labs나 Hive, 최근 Reddit에 인수된 Oterlu 등 수많은 스타트업이 시장에 포진해 있습니다.

하지만 지금까지의 자동화 도구들은 적지 않은 오작동 사례를 남겼습니다.

펜실베이니아 주립대 연구진은 대중적인 유해성 판별 모델들이 장애인 관련 게시물을 부정적이거나 유해한 글로 잘못 분류하는 경향이 있음을 밝혀낸 바 있습니다.

과거 Perspective 모델 역시 소수자 집단이 스스로 사용하는 단어나 의도적인 오탈자를 포함한 증오 발언을 제대로 감지하지 못해 비판을 받았습니다.

이러한 문제는 데이터를 라벨링하는 작업자의 인종이나 정체성에 따라 부여되는 기준이 서로 다르다는 점에서 비롯됩니다.

OpenAI 역시 GPT-4가 사전 학습 과정에서 유입된 편향에 취약할 수 있음을 인정하며, 인간 검토자가 반드시 개입하는 인간 참여형 방식을 유지해야 한다고 언급했습니다.

왜 중요한가

플랫폼과 커뮤니티를 운영하는 기업 입장에서 이번 방식은 정책 스트레스 테스트 도구로서 상당한 실용성을 지닙니다.

과거에는 새로운 유해 기준을 만들고 외부 검수 인력을 교육하는 데 수 주가 걸렸지만, 이제는 GPT-4와 대화하며 규정의 논리적 허점을 반나절 만에 점검할 수 있습니다.

업계 전반으로 보면 단순 인력 중심의 외주 모더레이션 시장을 프롬프트 엔지니어링 기반의 정교한 설계 업무로 재편하는 계기가 될 수 있습니다.

우리는 OpenAI가 AI를 완벽한 심판으로 내세우기보다, 가이드라인의 맹점을 찾아내는 보조 검증자로 정의한 점이 영리한 선택이라고 봅니다.

다만 GPT-4가 편향된 판단을 그럴듯한 논리로 포장해 내놓을 때, 관리자가 이를 맹신하여 특정 집단의 표현을 과도하게 제한할 수 있다는 위험은 여전히 경계해야 합니다.