구글, 언어모델 내부 분석 도구 '젬마 스코프' 오픈소스 공개

젬마 스코프(Gemma Scope)는 대규모 언어모델의 내부 동작 과정을 들여다볼 수 있도록 설계된 오픈소스 해석 가능성 분석 도구 모음입니다. 쉽게 말해, 신경망 내부에서 복잡하게 뒤엉킨 신호를 분해해 모델이 어떤 개념을 바탕으로 추론하는지 관찰할 수 있게 해주는 맞춤형 현미경입니다.

이번에 구글은 젬마 2 2B와 9B 모델의 모든 레이어와 서브레이어 출력을 분석할 수 있는 400개 이상의 희소 오토인코더(SAE)를 통째로 공개했습니다. 이를 통해 추출된 특징(feature)만 3천만 개가 넘으며, 오토인코더의 총 파라미터 수는 수천억 개에 달합니다.

어떻게 동작하는가

언어모델 내부의 개별 뉴런은 대개 여러 무관한 개념에 동시에 반응합니다. 마이클 조던을 떠올릴 때와 오믈렛 요리법을 쓸 때 같은 뉴런이 겹쳐 활성화되기 때문에, 기존 방식으로는 뉴런 값만 보고 모델의 생각을 읽어내기 어려웠습니다.

희소 오토인코더는 모델이 수많은 개념을 알더라도 특정 문맥에서는 아주 일부의 개념만 사용한다는 점(희소성)을 파고듭니다. 젬마 스코프는 각 층에서 뒤섞인 활성화 벡터를 더 높은 차원으로 펼친 뒤, 소수의 명확한 특징들로 분해합니다. 연구진이 어떤 특징을 찾으라고 사전에 지정하지 않아도 모델 내부의 숨은 패턴을 스스로 찾아냅니다.

특히 구글의 새로운 JumpReLU 아키텍처를 도입해, 특정 특징이 존재하는지 감지하는 작업과 그 강도를 측정하는 작업 사이의 균형을 잡아 재구성 오차를 크게 줄였습니다. 젬마 스코프 개발에 쓰인 내부 도구 Mishax도 함께 오픈소스로 풀렸습니다.

리소스 규모와 사용 방법

학습에 들어간 컴퓨팅 자원도 기록적입니다. 구글은 젬마 2 9B 전체 학습 연산량의 약 15%를 이 도구 제작에 투입했으며, 저장한 활성화 데이터양만 약 20 PiB(영문 위키백과 100만 개 분량)에 달합니다.

직접 써보는 방법은 간단합니다. 복잡한 로컬 환경 구축 없이 뉴런피디아(Neuronpedia)에 마련된 인터랙티브 데모 페이지에서 텍스트를 입력하고 각 레이어의 특징이 어떻게 반응하는지 웹에서 바로 확인할 수 있습니다. 모델 가중치 역시 완전히 공개되어 연구 목적의 파이프라인에 즉시 연동 가능합니다.

왜 중요한가

AI 안전성과 메커니즘 해석을 연구하는 개발자에게 젬마 스코프는 수억 원대 연산 비용과 수개월의 데이터 엔지니어링 과정을 한 번에 건너뛰게 해주는 강력한 자산입니다. 모델의 환각 현상, 탈옥 시도, 자율 에이전트의 속임수 메커니즘을 규명하는 데 즉시 활용할 수 있습니다.

소형 장난감 모델에 머물던 해석 가능성 연구를 최신 오픈 모델 전체 레이어로 확장해 공개한 구글의 결정은 매우 영리합니다. 다만 3천만 개가 넘는 방대한 특징이 추출된 만큼, 각 특징의 실제 의미를 규명하고 이를 실시간 안전 필터링으로 연결하는 작업은 이제 막 시작된 과제입니다.