구글, 차분 프라이버시로 처음부터 학습한 10억 파라미터 LLM '볼트젬마' 공개

볼트젬마(VaultGemma)는 구글과 딥마인드가 공개한 10억 파라미터(1B) 규모의 오픈 언어 모델이다. 차분 프라이버시(Differential Privacy, DP)를 적용해 바닥부터 완전한 사전 학습을 거친 오픈 모델 중 현존 최대 규모를 자랑한다. 핵심 목표는 모델이 학습 데이터에 포함된 민감한 정보나 비밀을 통째로 암기해 출력하는 현상을 수학적으로 원천 차단하는 것이다.

무엇을 할 수 있는가

기존 대규모 언어 모델의 대표적인 보안 결함 중 하나는 학습 데이터 암기(memorization)다. 학습 세트에 개인 식별 정보, 사적 대화, 의료 기록이 섞여 들어가면 공격적인 프롬프트에 의해 원문 그대로 노출될 위험이 있다.

볼트젬마는 사전 학습 단계부터 DP-SGD 알고리즘을 적용해 정밀하게 계산된 노이즈를 주입했다. 1024개 토큰으로 구성된 시퀀스 단위에서 ε 2.0 이하, δ 1.1e-10 이하의 엄격한 프라이버시 수학적 보증을 제공한다.

쉽게 말해 특정 민감 정보가 단 하나의 1024 토큰 시퀀스에만 등장했다면, 볼트젬마는 해당 내용을 전혀 모르는 상태가 된다. 통계적으로 해당 데이터를 전혀 학습하지 않은 모델과 동일하게 반응한다. 오직 여러 문서와 시퀀스에 걸쳐 반복 등장하는 보편적 지식만 흡수하도록 설계됐다.

연구팀이 학습 데이터에서 50개 토큰을 떼어내 프롬프트로 입력하고 뒤이어 50개 토큰을 완성하게 한 암기 검증 실험에서도, 볼트젬마는 검출 가능한 수준의 데이터 암기를 전혀 보이지 않았다.

어떻게 만들었는가

지금까지 차분 프라이버시를 거대 언어 모델의 사전 학습에 적용하기 어려웠던 이유는 학습의 불안정성 때문이었다. 노이즈가 주입되면 손실(loss)이 급증하거나 발산하기 쉽고, 연산 비용도 천문학적으로 치솟는다.

구글과 딥마인드는 이를 극복하기 위해 차분 프라이버시 전용 확장 법칙(DP Scaling Laws)을 새롭게 도출했다. 모델의 학습 성패를 좌우하는 핵심 변수가 노이즈와 배치 크기의 비율(noise-batch ratio)이라는 점을 밝혀냈다.

일반적인 모델 학습과 달리, 차분 프라이버시 환경에서는 모델 크기를 작게 유지하면서 배치 사이즈(batch size)를 통상보다 훨씬 거대하게 키워야 최적의 효율을 낸다는 통찰을 얻었다.

볼트젬마는 젬마 2(Gemma 2) 아키텍처를 기반으로 삼았으며, 독자적인 Scalable DP-SGD 기술을 접목했다. 이를 통해 푸아송 샘플링(Poisson sampling)으로 인해 발생하는 배치 크기 변동 문제를 패딩과 트리밍 기법으로 해결하며 대규모 분산 환경에서 학습을 완주했다.

성능의 대가와 다운로드 방법

수학적으로 안전한 프라이버시에는 뚜렷한 대가가 따른다. 헬라스왜그(HellaSwag), 불큐(BoolQ), PIQA, 트 TriviaQA, ARC 등 주요 벤치마크 테스트에서 볼트젬마 1B의 성능은 약 5년 전 등장했던 동일 크기의 일반 GPT-2 모델과 비슷한 수준에 머무른다.

즉, 완전한 프라이버시 보증을 확보하는 대신 언어 이해 및 추론 성능 면에서는 약 5년 정도의 기술적 성능 격차를 감수한 셈이다.

현재 볼트젬마의 모델 가중치는 허깅페이스(Hugging Face)와 캐글(Kaggle)에 전면 공개되었으며, 상세한 실험 결과를 담은 기술 보고서도 함께 확인할 수 있다.

왜 중요한가

의료, 금융, 법률 등 사소한 데이터 유출도 치명적인 규제 산업에서 AI 모델을 자체 구축하려는 개발자나 머신러닝 프라이버시 연구자에게 볼트젬마는 가장 가치 있는 오픈소스 실험대다. 미세조정(Fine-tuning)뿐만 아니라 사전 학습 단계에서도 이론적 프라이버시 경계를 완벽히 세울 수 있음을 실제 가중치로 입증했다.

벤치마크 점수가 GPT-2 수준에 머물러 있는 만큼, 당장 일상적인 업무나 챗봇 용도로 쓰기에는 한계가 분명하다. 하지만 우리는 이 프로젝트가 프라이버시 보호 AI 연구의 이정표를 세웠다고 본다. 수학적 안전성과 성능 사이의 교환 비용을 투명하게 밝혔다는 점에서, 향후 오픈소스 생태계가 이 간극을 좁혀나갈 든든한 출발점이 마련되었다.