AI 이미지 생성기의 '원작 복제' 확인: 스테이블 디퓨전, 훈련 데이터 그대로 출력

AI 이미지 생성기를 옹호하는 이들은 흔히 AI도 인간 예술가처럼 영감을 얻을 뿐, 생성해 내는 모든 결과물은 완전히 새로운 창작물이라고 주장해 왔다.

하지만 이 주장을 정면으로 반박하는 연구 결과가 나왔다.

Google Brain, DeepMind, UC 버클리, 프린스턴 대학교 등 산학 공동 연구진은 Stable Diffusion과 Google의 Imagen 같은 확산 모델이 훈련 데이터 속 이미지를 '암기'하며, 특정 프롬프트를 입력하면 원본 이미지를 그대로 복제해 출력한다는 논문을 발표했다.

프롬프트 하나로 훈련 원본을 그대로 복제했다

이번 연구는 과거 언어 모델 GPT-2의 훈련 데이터 유출 문제를 밝혀냈던 Google Brain의 Nicholas Carlini 연구원이 주도했다.

연구 방식은 직관적이었다. 연구진은 Stable Diffusion 훈련에 쓰인 수 테라바이트 규모의 데이터셋 'LAION'에서 원본 이미지 캡션을 추출한 뒤, 이를 프롬프트로 Stable Diffusion에 입력했다. 그리고 출력된 결과물을 원본과 직접 대조했다.

그 결과, 미세한 디지털 노이즈만 섞였을 뿐 원본과 완전히 똑같은 이미지가 생성되는 현상이 확인되었다.

연구에 참여한 UC 버클리의 Eric Wallace와 프린스턴 대학교의 Vikash Sehwag에 따르면 약 30만 건의 프롬프트를 테스트했을 때 암기 복제율은 0.03% 수준으로 집계됐다. 매우 드문 비율이지만, AI가 원본을 복제할 수 없다는 통념을 깨뜨리기엔 충분했다.

모델이 커질수록 늘어나는 암기와 유출 위험

연구진은 모델의 근본 목적이 데이터를 단순히 뱉어내는 것이 아니라 새롭게 '일반화'하는 데 있다는 점을 지적했다.

실제로 Google의 Imagen은 데이터셋에 단 한 번만 등장한 이미지까지 기억해 복제해 냈다. 기존 GAN 기반 모델에서는 나타나지 않던 이러한 암기 현상은 고품질 이미지를 만드는 확산 모델 전반에서 공통으로 발견된다.

더 큰 문제는 앞으로 등장할 차세대 모델들이다. 모델의 파라미터가 커지고 성능이 향상될수록 저장 공간과 기억 용량이 늘어나 원본 복제 위험 역시 가파르게 치솟는다.

스위스 취리히 연방공과대학교(ETH Zurich)의 Florian Tramèr 교수는 복제 추출된 이미지 대부분이 저작권 보호 대상이었다고 강조했다. 만약 병원 환자의 X선 사진 같은 민감한 의료 데이터를 확산 모델로 다룰 경우, 실제 환자의 개인정보가 여과 없이 웹상에 노출되는 심각한 프라이버시 사고로 이어질 수 있다.

왜 중요한가

이번 연구는 저작권 소송에 직면한 AI 기업들의 가장 핵심적인 방어 논리를 무너뜨렸다.

기업들은 AI가 훈련 데이터를 직접 복제하지 않는다고 주장해 왔지만, 0.03%의 명백한 복제 증거가 확인되면서 법적 책임을 피하기 어려워졌다. 상업적 이용 권한을 믿고 AI 이미지를 쓰는 일반 이용자나 창작자 역시 본인도 모르는 사이에 타인의 저작권을 침해할 위험에 노출된 셈이다.

우리는 확산 모델의 구조적 한계가 명확해진 만큼, 단순한 데이터 필터링을 넘어선 근본적인 기술적 대책이 요구될 것으로 본다. 이미지를 파괴하고 복원하는 확산 모델의 특성상 데이터 암기를 원천 차단하기는 수학적으로 매우 어렵기 때문이다.

결국 업계는 생성 단계에서 원본과의 유사도를 실시간으로 검사해 차단하는 안전망을 구축하거나, 무단 스크래핑 대신 합법적인 라이선스 데이터만 학습시키는 방향으로 강제 전환될 가능성이 높다.