OpenAI, 웻랩 실험 벤치마크 'BioBasicsBench' 공개…GPT-6 Astra 66.7% 기록

바이오 분야의 AI라고 하면 흔히 신약 후보 물질을 설계하거나 난치병을 단숨에 정복하는 장면을 떠올린다. 하지만 실제 생화학 및 분자생물학 웻랩 현장에서 연구원의 손을 가장 많이 타는 일은 번진 전기영동 젤 이미지를 들여다보고, 오염된 플레이트를 점검하며, 샬레에 자란 균락을 일일이 세는 반복적이고 궂은 작업들이다.

OpenAI가 효소 설계 전문 바이오 기업 리고(Ligo)와 손잡고 공개한 'BioBasicsBench'는 바로 이러한 웻랩의 일상 실험 데이터 100개를 AI 에이전트가 얼마나 정확히 해석할 수 있는지 시험하는 벤치마크다.

논문용 결과물이 아닌 '날것의 실험 실패 데이터'

기존 과학 벤치마크는 대개 논문에 실리기 위해 선별되고 정제된 깔끔한 도표를 기반으로 제작됐다. 반면 BioBasicsBench는 연구원들이 실험대에서 직접 마주치는 노이즈투성이 원천 데이터를 그대로 활용한다.

단백질 분석, 이미징 및 세포 분석, 정량 측정, 핵산 분석, 분자 복제의 5개 영역에서 100개 과제가 출제됐다. 입력 데이터로는 가공되지 않은 젤 이미지, 현미경 스택, 시퀀싱 원본 파일, 플레이트 리더 수치, 심지어 실험대 작업 영상까지 제공된다. 리고 내부 연구진과 외부 박사급 웻랩 연구원들이 교차 검증한 채점 기준을 바탕으로 결론뿐 아니라 중간 추론 과정, 그리고 '데이터가 부족해 결론을 낼 수 없음'을 인지하는지까지 채점한다.

OpenAI는 GPT-5.2부터 GPT-6 Astra까지 7개 모델을 대상으로 총 18500회 평가를 진행했다. 가장 높은 추론 강도인 xhigh 설정에서 GPT-6 Astra는 66.7%의 점수를 획득해 GPT-5.6 Sol의 43.8%를 크게 앞질렀다.

개선된 멀티모달 인식, 여전히 발목 잡는 고정관념

결과를 보면 GPT-6 Astra는 원시 이미지 데이터를 해석하고 데이터의 한계를 파악하는 능력에서 확실한 진전을 보였다.

형광 염색을 통한 세포 사멸 판별 과제에서 GPT-5.6 Sol은 밝기만 보고 단순 사멸로 단정한 반면, Astra는 두 번째 염료의 신호 간섭 가능성을 짚어내며 대조군 보완을 요구했다. 또한 클로닝 실험에서는 음성 대조군 플레이트에 잘못된 항생제 라벨이 붙은 것을 눈치채고 대조군으로서의 가치를 기각했으며, 현미경 이미지 연속본을 보고 세포가 사라진 게 아니라 초점 깊이가 다른 z-stack임을 정확히 짚어냈다.

하지만 점수가 올랐다고 해서 연구실을 단독으로 맡기기엔 여전히 치명적인 구멍이 존재한다.

콜로니 PCR 밴드 분석에서 Astra는 밴드 그룹 자체는 잘 구분해놓고도 '더 큰 PCR 생성물이 올바른 결과물일 것'이라는 사전 가정에 휩쓸려 엉뚱한 레인을 선택했다. 액포 명암 판별에서도 초점에 따른 명암 역전을 간과했으며, 콜로니 계측에서는 빈 배지를 균락으로 표시하거나 뭉친 균락을 분리하지 못해 실제보다 약 12% 과다하게 집계하는 실수를 저질렀다.

왜 중요한가

우리는 BioBasicsBench가 AI의 생명과학 접근법을 거대 담론에서 현장의 실질적인 병목 해결로 끌어내렸다는 점에서 매우 영리한 시도라고 본다.

연구자 관점에서 AI가 실험 과정의 라벨링 실수나 형광 간섭을 짚어내 준다면 반복되는 재실험 비용과 시간을 획기적으로 줄일 수 있다. 하지만 지금 당장 AI에게 판단을 일임하는 것은 위험하다. 콜로니 수가 12% 틀리면 세포 내 DNA 도입 효율 계산이 왜곡되고, 엉뚱한 클로닝 밴드를 집어 들면 이어지는 수주간의 단백질 정제 작업 전체가 수포로 돌아가기 때문이다.

업계 전반으로 보면 논문 텍스트를 요약하는 수준을 넘어 불완전한 시각 증거를 다루는 멀티모달 추론 능력이 차세대 모델의 핵심 승부처가 되었음을 보여준다. 그럴듯한 답을 내놓기보다 모호한 데이터 앞에서 스스로 멈춰 설 줄 아는 신중함이 과학 에이전트의 성패를 가를 것이다.