OpenAI, 생물학 벤치마크 GeneBench-Pro 공개: GPT-5.6 Sol 통과율 28.7%

생물정보학 분석 스크립트를 짜는 것은 이제 어렵지 않습니다. 진짜 어려운 문제는 데이터에 섞인 잡음과 편향을 마주했을 때, 초기 가설을 수정해야 할지 아니면 이상치로 걸러내야 할지 결정하는 '연구적 직관'입니다.

6월 30일, OpenAI는 계산생물학 환경에서 AI 에이전트의 복잡한 의사결정 능력을 평가하는 연구용 벤치마크 'GeneBench-Pro'를 공개했습니다. 통계유전학, 암 유전체학, 임상 진단 등 10개 영역에 걸친 129개 문제로 구성되어 있습니다.

합성 데이터로 해결한 채점의 모호성

기존의 장기 생물학 벤치마크는 딜레마를 안고 있었습니다. 실제 과거 연구 데이터를 쓰면 분석 경로가 여러 갈래라 문제 출제자의 자의적인 기준에 따라 점수가 갈리기 쉽고, 채점 기준을 느슨하게 잡으면 중대한 분석 오류를 범한 에이전트도 정답 판정을 받곤 했습니다.

GeneBench-Pro는 129개 문제의 데이터를 모두 인과 구조가 완벽히 파악된 합성 데이터로 구축해 이 문제를 풀었습니다. 데이터 생성 과정을 직접 통제하기 때문에, 타당한 범위 내의 분석 방법 차이를 수용하면서도 최종 결과값을 명확하게 채점할 수 있습니다.

대학원생, 박사후연구원, 교수 등 외부 전문가들이 82개 문항을 검토한 결과, 인간 전문가가 문제 하나를 푸는 데 약 20~40시간이 걸리는 것으로 나타났습니다. 시간당 200달러로 계산하면 문제당 수천 달러의 인건비가 들어가는 고난도 과제들입니다. 에이전트는 Python과 PLINK 2.0 등 표준 생물정보학 도구가 갖춰진 독립 환경에서 자율적으로 분석을 수행해야 합니다.

GPT-5.6 Sol 정답률 28.7%, 오픈소스와의 격차 확인

테스트 결과, 최신 프론티어 모델조차 아직 이 시험대에서는 고전하고 있는 것으로 나타났습니다.

OpenAI의 최고 사양 모델인 GPT-5.6 Sol은 최고 추론 수준에서 28.7%의 통과율을 기록했고, Pro 모드 활성화 시 31.5%까지 올랐습니다. 초기 GeneBench 개발 당시 GPT-5가 기록했던 5% 미만에 비하면 크게 상승한 수치입니다.

테스트 시점의 추론 연산량이 성패를 갈랐습니다. 가장 낮은 추론 수준에서 GPT-5.6 Sol의 통과율은 한 자릿수에 머물렀으나, 추론을 최대로 끌어올리자 토큰 사용량을 약 3분의 2로 줄이면서도 GPT-5.2 대비 약 6배 많은 문제를 해결했습니다.

주목할 점은 모델 간 격차입니다. GPT-5.6 및 GPT-5.5와 GLM 5.2 등 대표적 오픈소스 모델 간의 성능 격차는 일반 코딩 벤치마크에서 나타나던 수준보다 훨씬 크게 벌어졌습니다. 전문가들은 에이전트들이 유전 데이터의 혈통 뒤바뀜 같은 데이터 오류를 세심하게 잡아내지 못하고 기존 파이프라인을 그대로 적용하다 실패하는 경우가 많았다고 지적했습니다.

OpenAI는 현재 10개의 대표 문제를 Hugging Face에 공개했으며, 향후 50개 문제를 독립 벤치마크 기관인 Artificial Analysis에 제공해 교차 검증을 진행할 계획입니다.

왜 중요한가

GeneBench-Pro는 AI 평가의 초점을 '코드 작성 능력'에서 '불확실성 속에서의 과학적 의사결정'으로 끌어올렸다는 점에서 의미가 큽니다.

인과 구조를 완전히 장악한 합성 데이터로 채점의 자의성을 없앤 방식은 매우 영리합니다. 다만 현실 생물학 연구는 기존의 인과 모델 자체가 무너지는 경우가 허다하기 때문에, 시뮬레이션 환경에서 검증된 판단력이 복잡한 실제 실험 데이터에서도 그대로 작동할지는 앞으로 지켜봐야 할 부분입니다.

연구자 관점에서 28.7%라는 정답률은 분석을 완전히 AI에 일임하기엔 이르다는 점을 보여줍니다. 그러나 수천 달러에 달하는 전문가 인건비 대비 문제당 단 몇 달러의 추론 비용으로 데이터 오류를 점검하고 분석 경로를 보조받을 수 있다는 점은 현시점에서도 충분히 매력적입니다. 업계 전반에는 코딩 벤치마크 점수만으로는 실제 과학 연구 능력을 입증하기 어렵다는 명확한 기준선을 던졌다고 봅니다.