오픈AI와 앤트로픽, 첫 공동 안전성 평가 결과 공개…상대 모델 교차 검증
오픈AI와 앤트로픽이 서로의 내부 안전성 테스트를 상대방 공개 모델에 적용한 공동 평가 결과를 공개했다. 클로드 4는 시스템 프롬프트 유출 방지에 강세를 보였으나 거부율이 70%에 달했고, 오픈AI o3는 탈옥 방어에서 우위를 보였다. 치열한 경쟁사가 서로의 취약점을 직접 검증해 안전 투명성을 높인 드문 협업이다.
오픈AI와 앤트로픽이 서로의 내부 안전성 테스트를 상대방 공개 모델에 적용한 공동 평가 결과를 공개했다. 클로드 4는 시스템 프롬프트 유출 방지에 강세를 보였으나 거부율이 70%에 달했고, 오픈AI o3는 탈옥 방어에서 우위를 보였다. 치열한 경쟁사가 서로의 취약점을 직접 검증해 안전 투명성을 높인 드문 협업이다.
앤트로픽은 사용자가 유해한 요구나 폭언을 집요하게 지속할 경우 클로드 오퍼스 4 및 4.1이 대화를 자체 종료할 수 있도록 했다. 잠재적 'AI 복지' 연구의 일환으로 도입된 기능으로, 대화가 끊기면 해당 창에서는 입력이 차단되지만 새 대화를 시작하거나 이전 메시지를 수정해 분기할 수 있다.
앤트로픽이 Pro 및 Max 구독자를 대상으로 8월 28일부터 주 단위 사용량 제한을 새로 도입한다고 발표했다. 개발자 도구인 Claude Code를 24시간 내내 백그라운드로 돌리거나 계정을 재판매하는 행위를 막기 위한 조치다. 기존 5시간 리셋 기준은 유지되며 영향받는 이용자는 5% 미만이라고 밝혔다.
앤트로픽이 금융 전문가를 위한 분석 솔루션을 공개했다. 팩트셋, S&P 글로벌 등 금융 데이터와 기업 내부 시스템을 연동하며, 모든 분석 결과에 원본 출처 링크를 제공한다. 기업 데이터는 기본적으로 AI 학습에 사용되지 않는다.
앤트로픽이 차세대 모델 '클로드 오퍼스 4'와 '클로드 소넷 4'를 발표했다. 추론 과정 중 외부 도구를 함께 사용할 수 있어 복잡한 코딩과 에이전트 작업의 지속성이 대폭 개선됐다. 전용 개발 도구인 '클로드 코드'도 정식 출시됐으며, 소넷 4는 무료 이용자에게도 제공된다.
앤트로픽은 해커원과 협력해 미공개 안전 분류 시스템을 검증하는 새 버그바운티 프로그램을 발표했다. Claude 3.7 Sonnet 등을 대상으로 화학·생물·핵무기 관련 범용 탈옥 취약점을 찾은 연구자에게 최대 25,000달러를 지급해 ASL-3 안전 기준 충족을 도모한다.