OpenAI, 생명과학 연구용 벤치마크 LifeSciBench 공개

생물학 분야에서 AI 모델의 성능을 평가할 때, 기존 시험들은 객관식 지식 암기에 치중되어 있었습니다. 하지만 실제 신약 개발이나 생명과학 현장에서 연구자에게 필요한 것은 단순한 정답 암기가 아니라, 불완전하고 상충하는 실험 데이터 속에서 다음 단계를 결정하는 복합적인 추론 능력입니다.

OpenAI는 실제 생명과학 연구 현장의 복잡성을 반영해 AI를 평가하는 새로운 벤치마크인 LifeSciBench를 발표했습니다. AI가 연구자 수준의 과학적 협력자 역할을 제대로 해낼 수 있는지 시험하기 위한 평가 체계입니다.

박사급 연구자 173명이 만든 750개 과제와 1만 9천 개 채점 기준

실제 생명과학 연구는 정형화된 질문과 깔끔한 정답으로 떨어지는 경우가 거의 없습니다. 연구자들은 불완전한 증거를 해석하고, 까다로운 실험을 설계하며, 임상 전환 시의 위험을 저울질해야 합니다.

OpenAI는 바이오 및 제약 산업에서 직접 신약 개발 프로그램을 진행해 본 박사급 과학자 173명을 영입해 평가 과제를 설계했습니다. 연구 현장에서 가장 흔히 쓰이는 업무를 증거 처리, 분석, 설계 및 최적화, 과학적 추론, 검증 및 운영, 임상 전환, 과학적 커뮤니케이션 등 7가지 워크플로로 분류하고 총 750개의 실무형 과제를 구성했습니다.

과제의 난도는 상당합니다. 단백질 구조 파일, 염기서열, 복잡한 실험 그래프, PDF 등 총 1062개의 실제 연구 파일이 첨부되었습니다. 전체 과제의 79%가 평균 4단계에 달하는 다단계 추론이나 의사결정을 거쳐야 하며, 절반이 넘는 53%의 과제는 첨부된 데이터 파일을 직접 분석하지 않고는 풀 수 없습니다.

채점 역시 동료 평가 수준으로 깐깐합니다. 과제마다 맞춤형 채점 기준표가 마련되었으며, 총 19020개, 과제당 평균 25개의 세부 기준을 통해 평가합니다. 최종 결론이 대략 맞았더라도 핵심적인 실험적 한계를 언급하지 않았거나 치명적인 생물학적 변수를 간과했다면 감점됩니다. 외부 독립 박사급 심사위원 453명도 검증에 참여해 96% 이상의 평가 타당도 일치율을 기록했습니다.

논리적 커뮤니케이션은 합격점, 계산과 분자 설계는 낙제점

벤치마크 테스트 결과, 최신 AI 모델의 명확한 장단점이 수치로 드러났습니다.

연구 특화 모델인 GPT-Rosalind는 기본 합격률이 36.1%로 기존 GPT-5.5의 25.7% 대비 의미 있는 성장을 보였습니다. 특히 과학적 커뮤니케이션 분야는 합격률 71.1%를 기록했고, 전임상 실험을 임상으로 잇는 중개 의학 분야 합격률도 36.8%에서 57.7%로 크게 뛰었습니다. 파편화된 증거를 모아 전문가 수준의 논리로 설득력 있게 설명하는 능력은 빠르게 발전하고 있습니다.

하지만 실제 실험 설계와 정밀 계산에서는 여전히 큰 한계를 드러냈습니다. 설계 및 최적화 워크플로의 합격률은 30.7%에 머물렀습니다. 텍스트만 주어진 과제에서는 합격률이 45.1%였으나, 복잡한 그래프나 데이터 파일이 첨부되면 합격률이 28.1%로 급락했습니다.

수치 계산 과제의 합격률은 14.8%에 불과했고, 유전자 서열이나 분자 구조를 생성하는 과제의 합격률도 24.0%에 그쳤습니다. CRISPR 공여자 설계나 siRNA 디자인처럼 오차가 전혀 허용되지 않는 정밀한 생화학 작업의 경우, AI가 생성한 결과물을 실제 실험실에서 직접 활용하기에는 여전히 위험성이 큽니다.

왜 중요한가

LifeSciBench는 생명과학 분야에서 AI에 씌워져 있던 막연한 환상을 걷어내고 현실적인 기술 수준을 보여준다는 점에서 의미가 큽니다.

바이오 연구팀과 제약 스타트업 입장에서는 AI를 어느 선까지 활용해야 할지 가이드라인이 명확해졌습니다. 방대한 문헌을 검토하고 연구 가설을 정리하거나 보고서 초안을 작성하는 용도로는 지금 당장 도입할 가치가 충분합니다. 반면, AI가 제안한 서열이나 정량 계산 결과를 검증 없이 곧바로 습식 실험에 투입하는 것은 값비싼 시약과 연구비를 낭비하는 꼴이 될 수 있습니다.

업계 전반의 AI 경쟁 구도에도 변화를 줄 것으로 보입니다. 이제는 단순히 단답형 지식 시험에서 높은 점수를 받는 것으로는 전문 모델이라 주장하기 어렵게 되었습니다. Google이나 Anthropic 같은 경쟁사들도 비정형 연구 데이터와 다단계 추론을 실제로 소화할 수 있는지를 증명해야 하는 압박을 받게 되었습니다.

우리는 OpenAI가 단순 정답 여부가 아니라 연구 과정 전체를 채점하는 루브릭 방식을 도입한 점을 높게 평가합니다. 실제로 14%의 과제에서 모델은 훌륭한 추론 논리를 펴고도 미세한 계산 실수나 사소한 생물학적 제약 조건을 놓쳐 최종 불합격했습니다. AI가 개념적 이해를 넘어 실험실 수준의 정밀한 계산과 구조적 설계를 담보할 수 있을지가 차세대 과학 AI의 진정한 승부처가 될 것으로 보입니다.