UC버클리 가혹한 새 AI 벤치마크 공개: GPT-5.5, 클로드 페이블 5 꺾고 1위
UC 버클리 RDI가 55개 산업의 실제 복합 업무를 평가하는 새 에이전트 벤치마크 'ALE'를 공개했습니다. OpenAI의 GPT-5.5가 통과율 24.0%로 앤트로픽의 최신 모델 클로드 페이블 5를 제치고 1위에 올랐습니다. 다만 최고 난이도에서는 주요 모델 모두 통과율 0%에 그쳐 아직 갈 길이 멉니다.
UC 버클리 RDI가 55개 산업의 실제 복합 업무를 평가하는 새 에이전트 벤치마크 'ALE'를 공개했습니다. OpenAI의 GPT-5.5가 통과율 24.0%로 앤트로픽의 최신 모델 클로드 페이블 5를 제치고 1위에 올랐습니다. 다만 최고 난이도에서는 주요 모델 모두 통과율 0%에 그쳐 아직 갈 길이 멉니다.
UC 버클리와 스탠퍼드대, 데이터브릭스 연구진이 새로운 LLM 최적화 방법인 GEPA를 선보였다. 단순 수치 보상 기반의 고비용 강화학습 대신, 시스템 오류와 실행 기록을 자연어로 반성하고 프롬프트를 진화시켜 최대 35배 적은 시도로도 더 높은 성능을 낸다.
이번 주 네이처 뉴로사이언스에 발표된 연구에 따르면, UC 버클리와 UCSF 연구팀은 마비 환자의 뇌 신호를 원래 음성으로 변환하는 AI 뇌-컴퓨터 인터페이스를 개발했다. 2023년 연구에서 8초 걸리던 음성 합성 지연 시간을 1초 이내로 대폭 줄였다.
UC 버클리 NovaSky 팀이 OpenAI의 o1-preview에 필적하는 추론 모델 'Sky-T1-32B-Preview'를 공개했다. 1만 7천 개의 정제된 데이터로 8대의 H100에서 19시간 동안 450달러 미만의 비용으로 미세조정을 마쳤다. 코드, 데이터셋, 가중치가 모두 전면 공개되었다.