오픈AI, 개인정보 탐지·마스킹 모델 '프라이버시 필터' 오픈소스 공개

오픈AI가 공개한 'Privacy Filter'는 텍스트 속 개인 식별 정보(PII)를 탐지하고 마스킹하는 오픈 가중치 모델입니다. 가장 큰 특징은 로컬 기기에서 직접 구동할 수 있다는 점입니다. 마스킹되지 않은 원본 민감 데이터를 외부 클라우드로 전송할 필요 없이 자체 서버나 단말 안에서 안전하게 정제할 수 있습니다.

모델의 전체 매개변수는 1.5B 규모이지만, 실제 연산에 쓰이는 활성 매개변수는 50M에 불과합니다. 이처럼 가벼운 체급에도 불구하고 최대 128,000 토큰에 달하는 긴 문맥을 한 번에 처리합니다.

무엇을 할 수 있나

기존의 개인정보 비식별화는 전화번호나 이메일 형식을 잡는 정규 표현식 규칙에 크게 의존했습니다. 이런 방식은 정형화된 데이터에는 잘 맞지만, 문맥에 따라 개인 식별 여부가 달라지는 비정형 텍스트에서는 오탐과 누락이 잦았습니다.

Privacy Filter는 문맥을 이해해 8가지 범주의 정보를 가려냅니다. 개인 이름, 개인 주소, 이메일, 전화번호, 개인 URL, 개인 날짜, 계좌번호(신용카드 및 은행 계좌), 그리고 비밀번호와 API 키 같은 보안 암호가 포함됩니다.

앞뒤 맥락을 함께 파악하기 때문에 공개되어도 무방한 정보와 보호해야 할 개인정보를 똑똑하게 구별해 냅니다.

작동 방식과 성능

이 모델은 문장을 단어 단위로 순차 생성하는 일반 LLM과 달리, 사전 학습된 모델을 양방향 토큰 분류기로 개조했습니다. 단 한 번의 순방향 연산으로 전체 토큰에 라벨을 붙인 뒤 비터비 알고리즘으로 매끄러운 마스킹 영역을 복원합니다.

이러한 구조 덕분에 처리 속도가 매우 빠르며, 기업의 데이터 로깅, 색인 생성, 대규모 AI 학습 파이프라인에 곧바로 배치하기에 적합합니다.

PII-Masking-300k 벤치마크 테스트에서 이 모델은 F1 점수 96%(정밀도 94.04%, 재현율 98.04%)를 기록했습니다. 데이터셋 라벨링 오류를 바로잡은 수정 벤치마크에서는 F1 점수가 97.43%(정밀도 96.79%, 재현율 98.08%)까지 올라갔습니다.

미세 조정 효율도 뛰어납니다. 적은 양의 도메인 특화 데이터만으로도 특정 분야 F1 점수를 54%에서 96%까지 단숨에 끌어올릴 수 있었습니다.

현재 GitHub와 Hugging Face에서 Apache 2.0 라이선스로 배포되어 상업적 이용과 자체 커스텀이 가능합니다. 다만 오픈AI는 법률, 의료, 금융 등 민감도가 극도로 높은 영역에서는 인간의 검토를 완전히 대체할 수 없다고 명시했습니다.

왜 중요한가

사내 RAG 시스템을 구축하거나 고객 상담 로그, 모델 학습용 데이터를 정제해야 하는 엔지니어라면 지금 당장 도입을 검토해 볼 만합니다. 그동안 민감 데이터를 대형 상용 API로 보내는 것은 보안상 부담스럽고, 정규식에만 맡기기엔 누락 위험이 컸습니다.

Privacy Filter는 활성 매개변수 50M라는 극단적인 경량화를 통해 비용과 프라이버시 문제를 동시에 해결했습니다. 특정 목적에 정확히 맞춘 실용적 오픈소스 인프라로서 프로덕션 환경의 실질적인 가려운 곳을 긁어준 영리한 공개입니다.