허깅페이스, 생각의 연쇄 효과 측정하는 'Open CoT 리더보드' 공개

기존 AI 벤치마크 점수만 보고는 모델이 실제로 추론을 잘하는지, 아니면 시험 데이터를 단순 암기했는지 구분하기 어렵습니다.

Hugging Face가 4월 23일 공개한 Open Chain of Thought Leaderboard는 이 문제를 다른 각도에서 접근합니다. 모델의 절대적인 정답률을 매기는 대신, 생각의 사슬 프롬프트를 적용했을 때와 적용하지 않았을 때의 정답률 차이, 즉 추론을 거치며 정답률이 얼마나 올랐는지를 측정합니다.

점수 대신 추론으로 얻은 증가분을 측정

정답을 안다고 해서 올바른 추론을 거쳤다고 볼 수는 없습니다. 이 리더보드는 데이터 오염 문제를 피하기 위해 AGIEval 벤치마크에 포함된 LogiQA와 미국 로스쿨 입학시험인 LSAT 데이터셋을 사용합니다. 상식만 있으면 풀 수 있지만 고성능 LLM에게도 여전히 까다로운 논리 추론 객관식 문제들입니다.

기준 점수는 프롬프트 없이 로그우도 정답률로 측정하고, CoT 방식에서는 모델이 단계별 추론 과정을 먼저 생성한 뒤 최종 답안을 고르도록 유도합니다.

추론 과정 생성에는 단계별 생각을 유도하는 Classic 방식과 문제 해결 전 전체적인 상황을 먼저 짚어보게 하는 Reflect 방식 두 가지를 사용했습니다. 여기에 그리디 탐색, 빔 서치, 샘플링 등 세 가지 디코딩 옵션을 조합해 모델당 총 6가지 방식으로 테스트한 뒤 가장 높게 나온 정답률 증가분을 기록합니다.

선전하는 소형 모델과 완벽하지 않은 추론 프롬프트

초기 30개 모델을 평가한 결과 흥미로운 패턴이 드러났습니다.

가장 눈에 띄는 점은 7B 규모 소형 오픈소스 모델들의 활약입니다. 작은 모델들도 정답률을 유의미하게 끌어올리는 추론 과정을 잘 만들어냈으며, 어떤 경우에는 대형 모델보다 향상 폭이 더 컸습니다. 실제로 Phi-2는 덩치가 훨씬 큰 Mixtral보다 CoT를 통한 정확도 상승 폭이 더 높게 나타났습니다.

명령어 및 대화 파인튜닝의 효과도 분명했습니다. 튜닝된 모델들은 원본 베이스 모델에 비해 기본 정확도뿐만 아니라 CoT로 얻는 추가 점수 폭도 컸습니다.

하지만 생각의 사슬이 항상 정답률을 올려주는 것은 아니었습니다. 모든 모델과 문제에 일관되게 먹히는 만능 생성 조합은 없었으며, 특정 상황에서는 추론 단계를 거쳤을 때 오히려 정답률이 떨어지는 현상도 확인되었습니다.

왜 중요한가

AI 에이전트나 애플리케이션을 만드는 개발자에게 이번 결과는 매우 직접적인 가치를 줍니다. 단계별 추론을 출력하게 만들면 그만큼 토큰이 더 쓰이고 응답 속도가 느려지는데, 어떤 모델이 이 비용을 들일 가치가 있는지 한눈에 파악할 수 있기 때문입니다.

평가 방식 측면에서도 절대 점수가 아닌 향상 폭을 측정하는 방식은 벤치마크 오염 문제를 우회하는 영리한 접근으로 보입니다. 챗봇 아레나처럼 막대한 비용이 드는 블라인드 테스트 없이도 모델의 실제 사고 능력을 짚어낼 수 있습니다.

다만 한계도 뚜렷합니다. 현재는 객관식 논리 문제에만 국한되어 있고, 모델이 엉터리 추론 과정을 거치고도 우연히 정답 선지를 맞히는 경우를 완전히 걸러내지는 못합니다. 연구진이 밝힌 대로 생성된 추론 내용이 실제로 정답과 논리적으로 이어지는지에 대한 정성적 분석이 보완되어야 합니다.