애플의 '추론 붕괴' 연구에 반박 논문 나와: AI 한계 아닌 평가 오류?

얼마 전 애플이 발표한 '생각의 착각(The Illusion of Thinking)' 논문은 AI 업계에 큰 충격을 주었습니다. 가장 진보된 대형 추론 모델조차 복잡한 문제 앞에서는 추론 능력이 와해된다는 결론을 내렸기 때문입니다.

하지만 이 결론에 정면으로 반박하는 연구가 나왔습니다.

오픈 필란트로피의 연구원 알렉스 로슨은 앤트로픽의 클로드 오푸스를 공저자로 올려 '생각의 착각이라는 착각'이라는 반박 논문을 발표했습니다. 애플의 실험이 모델의 한계가 아니라 실험 설계의 결함을 드러냈을 뿐이라는 주장입니다.

토큰 제한과 풀 수 없는 문제를 실패로 처리했다

로슨은 애플의 실험 설계에서 세 가지 결정적인 결함을 지적했습니다.

가장 큰 문제는 출력 토큰 한도 무시였습니다. 하노이의 탑 문제에서 원판이 8개 이상 넘어가면 모든 이동 경로를 나열하는 데 엄청난 분량이 필요합니다. 실제 모델 출력 기록을 보면 모델이 규칙은 계속되지만 토큰을 아끼기 위해 여기서 멈춘다고 명시했음에도, 애플의 자동 채점 시스템은 이를 추론 실패로 처리했습니다.

두 번째는 풀 수 없는 문제를 실패로 분류한 점입니다. 강 건너기 문제 중에는 주어진 제약 조건상 수학적으로 건너는 것이 불가능한 문제가 포함되어 있었습니다. 모델이 이를 알아채고 거부했는데도 감점을 준 것입니다.

평가 파이프라인이 추론 실패와 단순 출력 중단을 구분하지 못하고, 오직 나열된 전체 경로가 완성되었는지만 따진 결과였습니다.

코드를 짜게 하자 15개 원판 문제도 단번에 해결

로슨은 모델에게 수천 단계의 과정을 일일이 텍스트로 치게 하는 대신, 정답을 출력하는 루아 재귀 함수 코드를 작성하도록 방식을 바꿨습니다.

결과는 완전히 달랐습니다. 클로드, 제미나이, 오픈AI의 o3는 애플이 전멸했다고 발표했던 난이도를 훌쩍 뛰어넘어 15개 원판의 하노이의 탑 문제까지 정확한 알고리즘으로 풀어냈습니다.

로슨의 말대로 진짜 질문은 AI가 추론할 수 있느냐가 아니라, 현재의 평가 방식이 추론과 타자 치기를 구분할 수 있느냐는 점입니다.

왜 중요한가

개발자와 사용자 입장에서 이번 논쟁은 매우 실용적인 팁을 줍니다. 복잡한 다단계 논리 문제를 해결할 때 모델에게 모든 과정을 말로 길게 나열하게 만들면 토큰 제한에 걸려 실패하기 쉽습니다. 그 대신 알고리즘이나 실행 코드를 작성하도록 프롬프트를 구성해야 모델의 추론 엔진을 온전히 활용할 수 있습니다.

산업 측면에서는 벤치마크 평가 체계의 허점을 명백히 드러냈습니다. 애플의 논문은 AI 회의론자들에게 추론 모델 무용론의 핵심 근거로 쓰였습니다. 하지만 실상은 거친 자동 채점 스크립트가 출력 길이 한계를 인지 능력의 붕괴로 오독한 것에 가까웠습니다.

우리는 로슨의 반박이 매우 논리적이며 업계에 꼭 필요한 지적이었다고 봅니다. 물론 이것이 추론 모델의 일반화 문제가 완전히 해결되었음을 뜻하지는 않지만, 적어도 잘못 설계된 잣대로 기술의 한계를 섣불리 단정 지어서는 안 된다는 점을 분명히 보여줍니다.