메타, 오픈 AI 안전 도구 '퍼플 라마' 및 '라마 가드' 공개

퍼플 라마(Purple Llama)는 오픈소스 생성형 AI 모델을 활용해 안전한 애플리케이션을 만들 수 있도록 지원하는 메타의 오픈 세이프티 툴킷이다.

사이버 보안 분야에서 공격 중심의 레드팀과 방어 중심의 블루팀 역할을 통합한 '퍼플팀' 개념을 차용해, 위험 요소를 공격적으로 평가하고 동시에 방어 체계를 구축하도록 설계됐다.

모든 구성 요소는 연구와 상업적 이용을 모두 허용하는 오픈 라이선스로 제공된다.

주요 구성 요소

이번 초기 릴리스는 사이버 보안 평가와 입출력 가드레일이라는 두 가지 핵심 영역을 다룬다.

사이버 보안 평가 도구는 LLM의 보안 위험을 정량화하는 업계 최초의 표준 벤치마크를 제공한다. 모델이 안전하지 않은 코드를 추천하는 빈도를 측정하고, 악성 코드 생성이나 해킹 공격 지원에 악용되는지 여부를 체계적으로 테스트한다.

입출력 보호를 위해서는 '라마 가드(Llama Guard)'라는 전용 파운데이션 모델이 공개됐다. 공개 데이터셋으로 학습된 이 모델은 사용자의 입력 프롬프트와 모델의 출력 결과를 실시간으로 검사해 유해하거나 정책을 위반한 콘텐츠를 감지하고 차단한다.

메타는 방법론을 담은 연구 논문도 함께 공개했다. 개발자는 기본 규칙을 그대로 쓰거나 자체 서비스 가이드라인에 맞춰 라마 가드를 미세조정해 커스텀 필터로 활용할 수 있다.

사용 방법

허깅페이스, AWS, 구글 클라우드, 마이크로소프트, 엔비디아 등 다양한 생태계 파트너와 함께 공개됐다.

개발자는 관련 평가 도구와 라마 가드 모델 가중치를 내려받아 기존 AI 추론 파이프라인 앞뒤에 안전 검증 게이트웨이로 바로 연동할 수 있다.

왜 중요한가

오픈 모델을 실서비스에 도입할 때 가장 큰 문제는 안전성 검증과 악용 방지 인프라를 직접 구축하기 어렵다는 점이었다.

메타가 상업적 이용이 가능한 안전 평가 벤치마크와 경량 필터링 모델인 라마 가드를 통째로 개방하면서, 중소 개발팀도 대기업 수준의 안전 장치를 쉽게 확보할 수 있게 됐다. 오픈 모델 기반으로 챗봇이나 코딩 보조 서비스를 운영 중이라면 필수적으로 검토해볼 만한 도구다.