ChatGPT, 질병 진단서 의사 제쳤다: 단독 90% 기록했지만 의사들은 소견 무시

의사에게 최신 AI를 쥐여주면 진단 능력이 비약적으로 상승할 것이라는 기대가 보기 좋게 빗나갔습니다.

의사들이 ChatGPT의 도움을 받아 질병 진단 정확도를 높일 수 있는지 확인하려던 소규모 연구에서 다소 충격적인 결과가 나왔습니다. AI 챗봇이 보조 도구로 쓰였을 때는 별다른 효과를 내지 못했지만, 정작 혼자 시험을 치렀을 때는 의사들을 압도해 버렸기 때문입니다.

AI를 줬는데도 2점 오르는 데 그쳤다

이번 연구에는 전문의 26명과 전공의 24명 등 총 50명의 의사가 참여했습니다.

연구진은 이들에게 동일한 6건의 실제 환자 병력 데이터를 제공하고 각각 진단을 내리도록 했습니다. 한 그룹은 자신의 의학 지식만으로 진단했고, 다른 그룹은 OpenAI의 ChatGPT를 보조 도구로 활용할 수 있도록 했습니다. 동시에 ChatGPT 단독으로도 같은 문제를 풀게 했습니다.

채점 결과는 다소 당혹스러웠습니다. AI 없이 진단한 의사 그룹의 평균 점수는 74%였습니다.

ChatGPT를 자유롭게 쓸 수 있었던 의사 그룹의 평균 점수는 76%에 불과해, AI를 쓰지 않은 집단과 유의미한 차이를 보이지 못했습니다.

반면 인간의 개입 없이 ChatGPT 혼자 진단한 결과는 평균 90점을 기록하며, 의사들보다 무려 16%포인트나 높은 점수를 받았습니다.

의사들이 AI의 말을 듣지 않은 이유

연구 설계에 참여한 로드먼 박사는 뉴욕타임스와의 인터뷰에서 두 번 놀랐다고 털어놓았습니다. AI가 의사들에게 거의 도움이 되지 않았다는 사실에 놀랐고, AI 혼자서 의사들을 완벽히 이겼다는 사실에 다시 한번 충격을 받았다는 것입니다.

90점짜리 무기를 들고도 의사들이 76점에 그친 이유는 무엇일까요?

로드먼 박사는 의사들이 자신의 판단과 AI의 의견이 엇갈릴 때 AI의 말을 전혀 듣지 않았다고 설명했습니다. 다년간 수련을 거친 의사들은 자신의 초기 진단을 맹신한 나머지 챗봇이 자신보다 더 정확할 수 있다는 가능성을 받아들이지 못했습니다.

또 다른 문제는 프롬프트 활용 능력이었습니다. 대다수 의사는 대형 언어 모델의 역량을 온전히 끌어낼 수 있는 질문 방식을 잘 알지 못했습니다.

연구진은 AI 단독 성능이 두 의사 그룹을 모두 앞선 만큼, 실제 임상에서 인간과 AI의 협업 잠재력을 실현하기 위해서는 기술 개선뿐 아니라 의료진을 대상으로 한 AI 활용 교육이 시급하다고 지적했습니다.

왜 중요한가

이번 연구는 전문가에게 AI 도구를 쥐여주기만 하면 생산성이 저절로 폭발할 것이라는 실리콘밸리의 낙관론에 찬물을 끼얹었습니다.

우리가 보기에 의료 AI 도입의 진짜 걸림돌은 모델의 진단 능력이 아니라, 전문가 집단의 인지 편향과 워크플로 문제입니다. 도구의 성능이 아무리 뛰어나도, 전문가가 권위 의식 때문에 조언을 무시하거나 제대로 다룰 줄 모른다면 현장에서는 아무런 가치도 만들어내지 못합니다.

일반 환자 입장에서도 시사점이 큽니다. 구조화된 병력 데이터를 기반으로 한 ChatGPT의 감별 진단 역량은 이미 임상 의사를 위협할 수준에 도달했습니다. 하지만 실제 진료에는 신체 검진과 책임 소지가 따르는 만큼 무작정 AI에만 의존할 수는 없습니다.

결국 의료 AI 개발사들의 과제는 명확해졌습니다. 단순 챗봇 형태를 벗어나 의사의 자존심을 건드리지 않으면서도 놓치기 쉬운 희귀 질환 가능성을 자연스럽게 설득할 수 있는 사용자 경험을 설계해야 합니다. 협업하는 방법을 배우지 못한다면 아무리 똑똑한 모델도 진료실 구석에 방치될 수밖에 없습니다.