스탠퍼드대, 스테이블 디퓨전 미세조정해 흉부 X선 합성 영상 생성

스탠퍼드대 AIMI 연구진은 오픈소스 스테이블 디퓨전을 파인튜닝해 간단한 텍스트 프롬프트만으로 실제와 같은 흉부 X선 영상을 생성하는 방법을 개발했습니다.

이 프로젝트는 희귀 질환처럼 의료 데이터가 극도로 부족한 환경에서 학습용 합성 데이터를 확보하기 위해 고안되었습니다. 의학 용어인 흉막삼출 같은 키워드를 입력하면 해당 병변이 묘사된 흉부 방사선 이미지가 생성됩니다.

작동 원리와 검증 과정

연구진은 수십억 원의 비용이 드는 전용 모델을 바닥부터 학습시키는 대신, 스테이블 디퓨전의 3대 핵심 요소를 분해해 검증했습니다.

이미지를 압축하고 복원하는 VAE는 일반 자연물 이미지로만 학습되었음에도 흉부 X선의 해부학적 구조를 손상 없이 복원해 냈습니다.

텍스트 인코더인 CLIP 역시 방사선과 전문 의학 용어를 추가 학습 없이 이해하고 이미지 생성 신경망에 정확한 맥락을 전달했습니다.

실제 파인튜닝이 필요했던 부분은 잠재 공간에서 이미지를 만들어내는 U-Net뿐이었습니다. 순정 U-Net은 의료 영상을 그리지 못했지만, CheXpert 및 MIMIC-CXR에서 추출한 각 1,000장의 X선 데이터를 학습시키자 정상적인 폐 구조와 병변을 그려내기 시작했습니다.

결과 및 제한 사항

파인튜닝된 모델이 생성한 합성 병변 이미지는 딥러닝 기반 병변 분류 모델 평가에서 95%의 정확도를 기록했습니다.

연구팀은 이어 수만 장의 X선 영상과 실제 판독 보고서를 학습시킨 후속 모델 RoentGen을 공개했습니다. RoentGen은 병변의 크기나 좌우 위치까지 프롬프트로 정밀하게 제어할 수 있습니다.

다만 초기 연구에서는 텍스트 프롬프트를 단순화해 사용했기 때문에 생성된 영상의 다양성이 제한적이라는 한계가 있습니다. 또한 스테이블 디퓨전 오픈소스 라이선스에 따라 이 모델로 생성한 이미지를 실제 진료나 진단 용도로 직접 사용하는 것은 금지되어 있습니다.

해당 연구 논문은 arXiv에 게재되어 있습니다.

왜 중요한가

의료 인공지능 연구는 폐쇄적인 병원 데이터와 막대한 컴퓨팅 비용이라는 높은 진입장벽을 가지고 있었습니다. 스탠퍼드 연구진은 대중적인 오픈소스 파운데이션 모델을 가볍게 수정하는 것만으로도 전문 영역의 합성 데이터를 만들 수 있음을 증명했습니다.

의료 AI를 연구하거나 합성 데이터 파이프라인을 구축하려는 개발자에게 매우 유용한 접근법입니다. 다만 라이선스 제약과 임상 검증의 한계가 명확하므로, 진단 현장이 아닌 연구 및 교육 시뮬레이션 용도로 접근하는 것이 바람직합니다.