OpenAI, 과학 추론 벤치마크 'FrontierScience' 공개…물리·화학·생물 전문가급 평가

2년 전 박사급 난도를 자랑하던 과학 벤치마크 GPQA가 처음 나왔을 때 GPT-4의 점수는 39%에 불과해 인간 전문가 기준선인 70%를 밑돌았습니다. 하지만 GPT-5.2에 이르러 이 점수는 92%까지 치솟았고, 기존 시험지는 사실상 변별력을 잃었습니다.

이에 OpenAI는 12월 16일 물리, 화학, 생물학 전반에 걸친 전문가급 과학 추론 역량을 평가하는 새로운 벤치마크 FrontierScience를 발표했습니다.

단순 암기식 객관식 문항을 넘어, 인공지능이 실제 과학 연구를 얼마나 깊이 있게 지원할 수 있는지 측정하는 것이 핵심입니다.

올림피아드 킬러 문항과 박사 연구 과제

FrontierScience는 총 700개 이상의 텍스트 문항으로 구성되어 있으며, OpenAI는 데이터 오염을 막기 위해 160문항의 골드 세트만 외부에 공개했습니다.

평가는 Olympiad와 Research 두 개 트랙으로 나뉩니다.

Olympiad 트랙은 국제 올림피아드 메달리스트와 국가대표 코치 42명이 100문항을 출제했습니다. 출제진이 보유한 국제 메달만 총 109개에 달하며, 국제 대회 결선 이상의 난도를 지닌 이론 문제를 단답형 수식이나 수치로 채점하도록 설계했습니다.

Research 트랙은 실제 대학원 실험실의 업무를 옮겨왔습니다. 박사과정 연구원과 교수 등 전문가 45명이 양자전기역학, 합성유기화학, 진화생물학 등 다양한 분야에서 60개의 다단계 연구 서브태스크를 만들었습니다.

주관식에 가까운 연구 과제를 공정하게 평가하기 위해 OpenAI는 10점 만점의 루브릭 채점 기준을 도입했습니다. 최종 결론뿐만 아니라 중간 유도 단계의 타당성을 평가하며, 7점 이상을 받아야 정답으로 인정됩니다. 인간 전문가가 매번 채점하기 어려운 규모인 만큼 채점관 역할은 GPT-5 모델이 맡았습니다.

시험은 우등생, 연구실에선 초보자

초기 평가 결과는 매우 극명한 대조를 보였습니다.

정형화된 추론이 중심인 Olympiad 트랙에서 최첨단 모델들은 뛰어난 기량을 발휘했습니다. GPT-5.2가 77%로 선두를 차지했고, Gemini 3 Pro 역시 76%를 기록하며 바짝 뒤를 쫓았습니다.

반면 실제 연구 환경을 가정한 Research 트랙에서는 모든 모델이 고전했습니다. 최고 성능을 낸 GPT-5.2조차 최고 수준의 추론 리소스를 투입했음에도 25%의 정답률에 그쳤습니다.

오답 기록을 분석한 결과, 최고 수준의 프론티어 모델들도 복합적인 연구 과제 앞에서는 기초적인 계산 오류를 내거나 논리적 비약을 보였고, 생소한 학술 개념을 잘못 해석하거나 허위 사실을 지어내는 한계를 노출했습니다. Claude Opus 4.5, OpenAI o3 등 다른 최상위 모델들도 비슷한 양상을 보였습니다.

왜 중요한가

실제 연구자 입장에서 이 벤치마크는 인공지능 도구의 유효 범위를 명확히 보여줍니다. 복잡한 수식을 전개하거나 여러 언어와 분야를 넘나들며 문헌을 분석하는 구조화된 작업에는 지금 즉시 도입해도 며칠 걸릴 작업을 몇 시간으로 줄여주는 큰 가치가 있습니다. 하지만 문제 정의나 연구 설계를 완전히 맡기기에는 성공률 25%가 증명하듯 아직 위험 부담이 큽니다. 여전히 인간의 검증이 작업 전반을 지탱해야 합니다.

업계 전반으로 보면, 기존 객관식 벤치마크가 포화 상태에 이른 상황에서 OpenAI가 프론티어 모델의 경쟁 축을 '장기적인 과학 추론 능력'으로 한 단계 끌어올렸다는 의미가 있습니다. 앞으로 Google이나 Anthropic 같은 경쟁사들도 단순 상식 추론을 넘어 실제 연구 프로세스를 모사하는 고난도 태스크에서 모델 역량을 입증해야 하는 압박을 받게 됩니다.

우리는 OpenAI가 시험 문제 풀이와 실제 연구를 분리해 모델의 명암을 투명하게 드러낸 점은 영리한 접근이라고 봅니다. 다만 Research 트랙의 복잡한 추론 과정을 GPT-5가 자체 채점하도록 설계한 방식은 비용을 줄인 대신 모델 자체의 편향이 채점에 반영될 수 있다는 맹점을 안고 있습니다. 진정한 과학적 진보는 가상 루브릭에서 점수를 따는 것이 아니라 실제 물리 세계에서의 검증을 통해 완성되기 때문입니다.