허깅페이스, 생각의 연쇄 효과 측정하는 'Open CoT 리더보드' 공개
허깅페이스가 생각의 연쇄(CoT) 프롬프트 적용 전후의 정확도 향상 폭을 추적하는 'Open CoT Leaderboard'를 공개했습니다. 단순 점수가 아닌 추론 과정의 순수 개선 효과를 측정하며, 초기 평가 결과 7B 등 소형 모델이 대형 모델보다 더 큰 향상을 보이기도 했으나 일부 조건에서는 오히려 성능이 저하되는 현상도 포착되었습니다.
허깅페이스가 생각의 연쇄(CoT) 프롬프트 적용 전후의 정확도 향상 폭을 추적하는 'Open CoT Leaderboard'를 공개했습니다. 단순 점수가 아닌 추론 과정의 순수 개선 효과를 측정하며, 초기 평가 결과 7B 등 소형 모델이 대형 모델보다 더 큰 향상을 보이기도 했으나 일부 조건에서는 오히려 성능이 저하되는 현상도 포착되었습니다.