본문으로 건너뛰기
IFAI

Bloom

제품소식 4개

  1. 오픈소스확산 지수 46

    앤트로픽, AI 정렬 평가 도구 '페트리' 비영리단체 이관...Petri 3.0 공개

    앤트로픽은 오픈소스 AI 정렬 평가 도구인 '페트리(Petri)'를 비영리 평가 기관 메리디안 랩스에 기증하고 Petri 3.0을 공개했다. 이번 버전은 감사 모델과 대상 모델을 분리하고 실제 배포 환경을 시뮬레이션하는 'Dish'를 추가했으며 Bloom과 연동된다. 특정 연구소에 종속되지 않고 평가의 독립성을 확보하기 위한 조치다.

  2. 오픈소스확산 지수 48

    앤트로픽, AI 이상 행동 자동 평가 도구 '블룸' 오픈소스 공개

    앤트로픽이 AI 정렬 행동을 자동으로 평가하는 도구 '블룸(Bloom)'을 오픈소스로 공개했다. 연구자가 아첨이나 사보타주 같은 특정 행동을 입력하면, 블룸이 자동으로 다양한 상호작용 시나리오를 만들어 발생 빈도를 측정한다. 기존 정적 벤치마크의 데이터 오염 문제를 줄이고 며칠 만에 평가 체계를 구축할 수 있다.