본문으로 건너뛰기
IFAI

연구

하버드 연구서 오픈AI 'o1', 응급실 진단 정확도 의사 앞질러

게시 확산 지수 44

이번 주 사이언스에 발표된 하버드 연구에 따르면, 오픈AI의 o1 모델이 응급실 환자 76명의 초기 중증도 분류에서 67%의 진단 정확도를 기록하며 내과 전문의들의 55%와 50%를 넘어섰다. 모델은 가공되지 않은 전자의무기록을 바탕으로 평가받았다. 연구진은 실제 임상 결정에 쓰일 단계는 아니며, 비교군이 응급의학과 전문의가 아니라는 점도 지적됐다.

하버드 연구서 오픈AI 'o1', 응급실 진단 정확도 의사 앞질러
이미지: techcrunch.com

일분일초를 다투는 응급실 현장에서 인공지능이 인간 의사보다 더 정확한 진단을 내렸다는 연구 결과가 나왔습니다.

하버드 의대와 베스 이스라엘 디커니스 메디컬 센터 연구팀이 국제학술지 사이언스에 발표한 연구에 따르면, 실제 응급실 환자 76명의 사례를 분석한 결과 오픈AI의 o1 모델이 두 명의 내과 전문의보다 높은 초기 진단 정확도를 기록했습니다.

전처리 없는 전자의무기록으로 치른 블라인드 테스트

연구팀은 데이터를 사전에 가공하지 않고, 진단 당시 전자의무기록에 기재된 텍스트 원본을 오픈AI의 o1 및 GPT-4o 모델에 그대로 제공했습니다.

공정한 평가를 위해 채점을 맡은 다른 두 명의 전문의는 어떤 진단이 인공지능의 것이고 어떤 진단이 사람 의사의 것인지 모르는 이중맹검 방식으로 결과를 평가했습니다.

환자 정보가 극히 제한되고 긴급한 결정이 필요한 초기 트리아지 단계에서, o1은 67.1%의 확률로 정확하거나 매우 근접한 진단을 제시했습니다. 반면 인간 전문의 두 명의 정확도는 각각 55.3%와 50.0%에 머물렀습니다. 특히 장기 이식 환자의 사례에서는 인공지능이 치명적인 살을 파먹는 희귀 감염을 담당 의사보다 12시간에서 24시간가량 먼저 짚어내기도 했습니다.

응급의학과 전문의들의 반론과 한계

숫자는 놀랍지만, 현장에서는 시험 기준 자체가 현실과 동떨어져 있다는 비판이 즉각 제기되었습니다.

응급의학과 전문의 크리스틴 판타가니는 비교 대상이 응급의학과 의사가 아닌 내과 전문의였다는 점을 꼬집었습니다. 신경외과 시험에서 언어모델이 피부과 의사를 이겼다고 해서 그것이 실제 뇌수술에 도움이 된다고 볼 수 없는 것과 마찬가지라는 지적입니다.

응급실의 진료 목적이 최종 병명을 맞히는 퀴즈가 아니라는 점도 명확합니다. 판타가니 전문의는 응급실 의사의 최우선 과제는 최종 진단을 추측하는 것이 아니라 당장 환자의 목숨을 앗아갈 수 있는 응급 상황인지를 판단해 처치하는 것이라고 강조했습니다.

연구의 공동 저자인 아담 로드만 박사 역시 인공지능 진단에 대한 법적 책임 프레임워크가 전무하며, 생사의 기로에서는 여전히 환자들이 인간 의사의 판단을 신뢰한다는 점을 분명히 했습니다.

왜 중요한가

우리는 이번 연구의 진짜 의미가 인공지능의 의사 대체가 아니라, 임상 현장에서 실질적인 두 번째 조언자 역할을 할 수 있음을 증명한 데 있다고 봅니다.

환자 입장에서는 몸에 이상이 생겼을 때 병원 대신 챗봇을 찾아도 된다는 뜻이 결코 아닙니다. 응급 진료는 촉진과 활력 징후 모니터링, 신속한 소생술 등 물리적 진료가 핵심이며, 텍스트만 읽는 모델은 이를 전혀 수행할 수 없습니다. 하지만 격무에 시달리는 당직 의사에게는 백그라운드에서 희귀 질환 가능성을 조용히 짚어주는 보조 시스템으로 충분한 가치가 있습니다.

연구팀이 가공되지 않은 실제 전자의무기록을 그대로 사용한 점은 매우 영리했습니다. 다만 최종 진단 일치율만으로 응급 대처 능력을 평가한 것은 모델에 일방적으로 유리한 시험 방식이라는 한계를 남깁니다.

의료 사고 발생 시 책임 소재 규명과 다중 모달 생체 데이터 통합이 해결되지 않는 한 인공지능이 응급실의 메인 운전대를 잡을 수는 없습니다. 하지만 의사의 판단 착오를 줄여주는 든든한 조수석 파트너로서의 가능성은 확실히 입증된 것으로 보입니다.

출처 (1)

  1. [1]
    techcrunch.com(새 탭에서 열림)원문techcrunch.com

매일 AI 콘텐츠 픽