구글 딥마인드, 모델 내부 들여다보는 '젬마 스코프 2' 오픈소스 공개

Gemma Scope 2는 대규모 언어 모델의 내부 의사결정과 알고리즘을 현미경처럼 들여다볼 수 있도록 지원하는 오픈소스 해석 가능성 툴킷입니다.

270M부터 27B에 이르는 Gemma 3 전 제품군을 지원합니다. 구글 딥마인드에 따르면 이는 AI 연구소가 공개한 역대 최대 규모의 오픈소스 해석 가능성 릴리스로, 1조 개 이상의 파라미터를 학습시키고 약 110PB의 데이터를 저장해 제작되었습니다.

무엇을 할 수 있는가

LLM은 뛰어난 추론 능력을 보여주지만 내부 동작 과정은 여전히 불투명합니다. 시스템이 비정상적으로 작동할 때 내부를 볼 수 없으면 정확한 원인을 진단하기 어렵습니다.

Gemma Scope 2는 모델의 두뇌 전반에서 일어나는 위험 신호를 추적합니다. 탈옥 공격에 취약해지는 경로, 환각 현상의 발생 원인, 아첨 현상을 밝혀내며, 모델이 외부에 표출한 생각의 사슬과 실제 내부 상태 사이의 불일치까지 검증할 수 있습니다.

대화형 튜닝을 거친 Gemma 3 버전을 위한 별도 분석 도구도 제공되어, 거절 메커니즘과 다단계 추론의 충실도를 정밀하게 점검할 수 있습니다.

어떻게 구현되었는가

Gemma 3의 모든 레이어에 희소 오토인코더(SAE)와 트랜스코더를 학습시켜 결합했습니다. 복잡하게 얽힌 내부 활성화 값을 사람이 해석할 수 있는 명확한 개념 단위로 분해해 주는 원리입니다.

모델 전체에 분산된 다단계 계산 과정을 추적하기 위해 스킵 트랜스코더와 레이어 간 트랜스코더를 적용해 장기적인 추론 경로를 쉽게 해독할 수 있도록 했습니다.

또한 마트료시카 학습 기법을 도입해 오토인코더가 더 유용한 개념을 포착하도록 개선했으며 이전 버전의 한계점을 보완했습니다.

직접 확인해보고 싶다면 Neuronpedia에서 제공하는 대화형 웹 데모를 통해 별도 설치 없이 뉴런 활성화 상태를 바로 살펴볼 수 있습니다.

왜 중요한가

AI 안전성 연구자와 레드팀 담당자에게 매우 실질적인 연구 자산이 됩니다. 대형 모델에서만 나타나는 창발적 위험 행동을 분석하고 싶어도, 그동안 외부 연구자들은 막대한 연산 비용 탓에 소형 모델 연구에 머물러야 했습니다.

딥마인드가 27B 규모 모델의 전체 프로브를 무료로 공개함으로써 연구 인프라의 진입 장벽을 대폭 낮췄습니다.

물론 방대하게 펼쳐진 잠재 특성 중에서 실제 보안 결함과 직결된 요소를 가려내는 작업은 여전히 까다롭지만, 블랙박스 문제를 기술적으로 돌파하기 위한 가장 강력한 도구가 생겼다는 점에서 의미가 큽니다.