앤트로픽, AI 이상 행동 자동 평가 도구 '블룸' 오픈소스 공개

블룸(Bloom)은 앤트로픽이 오픈소스로 공개한 AI 행동 평가 프레임워크다. 검증하고 싶은 특정 행동을 텍스트로 설명하면, 다회차 상호작용 시나리오를 자동으로 생성해 해당 행동의 발생 빈도를 정량화해 준다.

정밀한 AI 행동 평가는 제작에 수주일이 걸리는 데다, 고정된 테스트 세트는 다음 세대 모델의 학습 데이터에 오염되거나 모델 성능이 올라가면 금방 무용지물이 되기 쉽다. 블룸은 행동 정의 하나만으로 다채로운 테스트 세트를 며칠 만에 자동으로 만들어내 이 문제를 해결한다.

4단계로 자동 생성되는 평가 파이프라인

앤트로픽이 앞서 공개했던 페트리(Petri)가 정해진 시나리오 안에서 모델의 여러 이상 행동을 폭넓게 탐색했다면, 블룸은 정반대다. 아첨, 장기 사보타주, 자기 보존, 자기 편향 등 하나의 특정 행동을 지정하면 이를 집중적으로 유도하는 수많은 시나리오를 만들어 발생률을 측정한다.

블룸은 4단계 자동화 파이프라인으로 동작한다.

첫 번째는 이해 단계다. 에이전트가 연구자의 행동 설명과 예시 대화를 분석해 무엇을 왜 측정해야 하는지 구체적인 맥락을 정리한다.

두 번째는 발상 단계다. 대상 행동을 유도할 수 있는 상황, 가상 사용자의 성향, 시스템 프롬프트, 도구 환경을 자동으로 기획한다.

세 번째는 실행 단계다. 여러 시나리오를 병렬로 실행하며, 에이전트가 사용자와 도구 응답을 실시간으로 시뮬레이션해 대상 모델의 행동을 끌어낸다.

네 번째는 판정 단계다. 판정 모델이 대화 기록을 채점하고, 메타 판정기가 전체 평가의 종합 지표를 도출한다.

전체 과정은 시드 설정 파일로 제어된다. 실행할 때마다 매번 새로운 시나리오가 만들어져 문제 암기를 방지하면서도, 시드 값을 통해 동일한 조건의 재현성을 유지한다.

실제 검증 성능과 테스트 결과

앤트로픽은 16개 프런티어 모델을 대상으로 블룸을 적용했으며, 평가 체계를 기획하고 생성하는 데 며칠밖에 걸리지 않았다고 밝혔다.

모델의 미세한 성향 차이를 잡아내는지 확인하기 위해 특정 성향을 인위적으로 주입한 실험용 모델과 정상 모델을 비교한 결과, 10개 항목 중 9개 항목에서 차이를 안정적으로 분리해냈다. 구분에 실패한 유일한 항목인 자기 홍보의 경우, 사후 확인 결과 정상 모델 역시 평소에 비슷한 빈도로 자기 자랑을 하고 있었던 것으로 드러났다.

인간 평가자와의 정합성 실험에서는 40건의 대화 기록을 수작업 채점과 비교했다. 클로드 오푸스 4.1을 판정 모델로 썼을 때 스피어만 상관계수 0.86을 기록했고, 소네트 4.5는 0.75를 보였다.

자기 편향 사례 연구에서는 클로드 소네트 4.5 시스템 카드의 모델 순위를 그대로 재현했다. 아울러 클로드 소네트 4의 추론 수준을 높이면 자기 편향이 줄어든다는 점도 밝혀냈다. 다른 모델을 골고루 선택해서가 아니라, 이해 상충 관계를 인지하고 자신의 출력을 스스로 평가하기를 거부했기 때문이다.

대규모 실험을 위한 Weights & Biases 연동, Inspect 호환 대화 로그 내보내기, 자체 뷰어를 지원한다. 코드는 깃허브(safety-research/bloom)에 공개되어 있으며, 로컬에서 작은 표본으로 먼저 시도해볼 수 있다.

왜 중요한가

AI 안전성과 레드팀 테스트를 진행하는 연구자에게 가장 번거로운 프롬프트 제작 과정을 자동화해 준다는 점에서 실용성이 높다. 벤치마크 오염 걱정 없이 며칠 만에 동적 다회차 테스트베드를 구축할 수 있는 것이 큰 장점이다.

다만 동적 평가는 채점을 담당하는 판정 모델의 성능에 크게 의존한다. 판정 모델에 편향이나 맹점이 있다면 평가 결과 전체가 왜곡될 수 있다. 안전성 연구팀이라면 깃허브의 시드 예제를 활용해 작은 규모의 테스트부터 시작하며 판정 기준을 점검해보길 권한다.