미스트랄, 다국어 콘텐츠 검열 API 출시

AI 서비스를 운영하는 개발자에게 가장 골치 아픈 문제는 모델의 말실수입니다. 모델이 똑똑한 것도 중요하지만, 허가되지 않은 의료 상담을 늘어놓거나 개인정보를 노출하는 순간 서비스는 치명타를 입습니다.

프랑스 AI 스타트업 Mistral이 새로운 콘텐츠 모더레이션 API를 내놓았습니다. 자사 챗봇 서비스인 Le Chat에 적용되어 있던 안전 필터링 시스템을 외부 개발자도 쓸 수 있도록 정식 API로 개방한 것입니다.

대화 맥락까지 읽는 9가지 안전 기준

이번 모더레이션 API는 파인튜닝된 소형 모델인 Ministral 8B를 기반으로 작동합니다. 입력된 텍스트를 성적 콘텐츠, 혐오 및 차별, 폭력 및 위협, 위험 및 범죄 콘텐츠, 자해, 건강, 금융, 법률, 개인식별정보(PII) 등 9개 카테고리로 분류합니다.

일반적인 유해 콘텐츠 외에도 건강, 금융, 법률처럼 자격 없는 전문 조언이 나가는 상황을 별도 항목으로 잡아낸 점이 눈에 띕니다. AI 모델이 그럴듯하게 거짓 정보를 지어내는 위험을 직접 겨냥했습니다.

제공되는 엔드포인트는 두 가지입니다. 일반 텍스트를 검사하는 엔드포인트와 대화형 맥락을 분석하는 엔드포인트로 나뉩니다. 유해한 발언은 전후 사정에 따라 의미가 완전히 달라지기 때문에, 대화형 엔드포인트는 이전 대화 흐름을 바탕으로 마지막 메시지의 유해성을 판별합니다.

언어 지원도 폭넓습니다. 한국어를 비롯해 아랍어, 중국어, 영어, 프랑스어, 독일어, 이탈리아어, 일본어, 포르투갈어, 러시아어, 스페인어 등 다국어 데이터로 학습되었습니다.

이날 Mistral은 대량 비동기 처리를 지원하는 배치 API도 함께 공개했습니다. 실시간 응답이 필요 없는 작업을 모아서 처리하면 기존 API 비용을 25% 아낄 수 있으며, 이는 OpenAI나 Anthropic 등이 도입한 방식과 유사합니다.

왜 중요한가

자체적으로 안전 필터를 구축하기 버거운 스타트업이나 개발자에게는 반가운 도구입니다. 거대 모델을 직접 돌려 유해성을 검사하면 비용과 지연 시간이 감당하기 어렵지만, 8B 급 경량 모델로 최적화된 API를 쓰면 운영 부담을 크게 덜 수 있습니다.

다만 AI 기반 검열 도구가 가진 고질적인 한계는 여전합니다. 특정 문화권의 일상 언어를 공격적인 표현으로 오판하거나 장애 관련 게시물을 부정적으로 분류하는 등의 편향 문제는 완전히 해결되지 않았습니다. Mistral은 내부 평가 지표를 공개했지만, OpenAI의 모더레이션 API나 구글 직소의 퍼스펙티브 API와 직접 비교한 벤치마크는 내놓지 않았습니다.

이미 Mistral 생태계에서 앱을 개발 중이라면 연동 편의성이 높아 바로 테스트해 볼 만합니다. 다만 오탐으로 인한 사용자 불편을 막으려면, 실제 서비스에 전면 적용하기 전에 내부 데이터를 넣어 오탐률을 먼저 검증해 보는 과정이 필요해 보입니다.