スタンフォード大、Stable Diffusionを微調整して胸部X線画像を生成

スタンフォード大学AIMIの研究チームは、オープンソースのStable Diffusionをファインチューニングし、テキスト指示からリアルな胸部X線画像を生成する手法を開発しました。

この取り組みは、特に症例が少ない希少疾患において、医学生や診断モデルの訓練用データが圧倒的に不足している課題を解決するためのものです。胸水などの病変名を指定するだけで、解剖学的特徴を備えた合成画像を生成できます。

仕組みと検証プロセス

研究チームは高価な専用モデルをゼロから構築するのではなく、Stable Diffusionを構成する3つの要素を個別に検証しました。

画像を圧縮・展開するVAEは、一般的な自然画像で訓練されていたにもかかわらず、胸部X線の解剖構造を崩さずに復元できることがわかりました。

テキストエンコーダのCLIPも、胸水をはじめとする放射線医学の専門用語をそのまま認識し、生成モジュールに必要な特徴量を渡すことができました。

調整が必要だったのは、潜在空間で画像を生成するU-Netのみです。初期状態のU-Netは医療画像を生成できませんでしたが、CheXpertやMIMIC-CXRから抽出した各1,000枚の正面X線画像で追加学習させることで、実用レベルの画像を生成できるようになりました。

精度と制限事項

ファインチューニングされたモデルが生成した病変画像は、深層学習による病変分類器で95%の識別精度を維持しました。

研究チームはその後、数万枚の画像と読影レポートで学習規模を拡大した発展型モデル「RoentGen」を発表しました。RoentGenでは、病変のサイズや左右の位置を自然言語で細かく制御できます。

ただし、初期段階の手法ではプロンプトが単純化されていたため、生成画像の多様性には課題が残ります。また、Stable Diffusionのライセンス規約により、生成画像を実際の医療アドバイスや診断補助に利用することは禁止されています。

本研究に関する論文はarXivで公開されています。

なぜ重要か

これまで医療向け画像生成AIを開発するには、膨大な独自データセットと莫大な計算コストが必要でした。汎用のオープンソースモデルにわずかな調整を加えるだけで高精度な医療画像が得られると実証された意義は大きいです。

医療データ不足に悩む研究者にとって、この合成データ活用法は試す価値が十分にあります。ただし規約上の制約があるため、当面は臨床診断ではなく、研究や教育用シミュレーションの用途に限定して活用すべきです。