Musubi, 커스텀 정책 즉시 읽는 유해 콘텐츠 분류 모델 PolicyLM-1.7B 오픈소스 공개

PolicyLM-1.7B는 메시지마다 플랫폼 고유의 운영 정책을 직접 읽고 즉시 유해성을 판별하는 1.7B 규모의 오픈소스 콘텐츠 모데레이션 분류 모델입니다. 규정이 바뀔 때마다 데이터를 다시 라벨링하고 파인튜닝할 필요 없이, 자연어로 작성한 검열 규칙을 즉각 적용할 수 있습니다.

기존의 고정형 머신러닝 분류기는 속도가 빠르지만 카테고리가 고정되어 있어 커스텀 룰을 반영하기 어렵습니다. 반면 대형 언어 모델은 정책을 잘 이해하지만 텍스트를 한 토큰씩 생성하느라 실시간 대화에 쓰기엔 너무 느리고 비쌉니다. PolicyLM-1.7B는 텍스트를 생성하지 않고, 단 한 번의 패스로 각 항목별 0~1 사이의 점수만 반환하는 방식으로 이 문제를 해결했습니다.

무엇을 할 수 있나

라이브 스트리밍 채팅, 게임 로비, 1:1 쪽지, 또는 AI 애플리케이션으로 프롬프트가 넘어가기 전 차단하는 안전 가드레일처럼 즉각적인 판정이 필요한 환경에 적합합니다.

단일 24GB L4 GPU나 일반 노트북에서도 구동할 수 있습니다. L4 GPU 환경에서 6개 카테고리를 기준으로 단문 메시지를 처리할 때 지연 시간 중앙값은 35ms에 불과하며, 전체 응답 시간도 100ms 미만으로 유지됩니다. 비용 부담이 적어 표본 추출 없이 모든 트래픽을 전수 검사할 수 있습니다.

엔비디아의 Aegis 23개 표준 유해 카테고리를 기본 지원하며, 자연어로 예외 조항을 추가할 수도 있습니다. 예를 들어 '게임 실력에 대한 비판은 허용하되 유저를 향한 욕설은 차단'과 같은 세부 규칙 설정이 가능합니다. 20B 미만 모델을 대상으로 한 자체 정책 벤치마크에서 약 83%의 정확도를 기록했습니다.

실행 방법과 한계

Qwen3-1.7B-Base 기반의 BidirLM-1.7B-Embedding 인코더로 구축되었으며, Apache 2.0 라이선스로 Hugging Face에 공개되어 있습니다. 공식 추론 스크립트는 transformers 4.57.6 버전을 요구하며 아직 5.x 버전은 지원하지 않습니다.

한계점도 명확합니다. 정책과 메시지를 합친 전체 컨텍스트 길이는 2048 토큰으로 제한되며, 대화 맥락 없이 단일 메시지 단위로만 검사합니다. 위반 사유에 대한 서술형 설명 없이 점수만 반환하며, 평가된 19개 언어 중 영어 성능이 가장 높고 타밀어 성능이 가장 낮습니다.

왜 중요한가

실시간 커뮤니티 서비스를 운영하거나 지연 시간에 민감한 AI 가드레일을 구축 중인 개발팀이라면 즉시 테스트해 볼 가치가 있습니다. 전통적인 분류기의 밀리초 단위 속도와 LLM의 유연한 지침 수용 능력을 1.7B 크기 안에서 영리하게 결합했습니다.

복잡한 이용 제한 이의신청을 검토하는 용도로는 부적합하지만, 대규모 트래픽을 최전선에서 빠르게 쳐내는 1차 필터링 도구로서는 API 비용과 엔지니어링 리소스를 크게 아껴줄 수 있습니다.