이미지 생성 AI 핵심 '디퓨전 모델'의 역사와 원리

커피에 각설탕을 떨어뜨리면 설탕 분자가 불규칙하게 퍼져나가며 결국 형체를 잃고 녹아듭니다. 물리학에서 이 확산 과정은 자발적이고 비가역적이어서, 녹아버린 설탕을 다시 각설탕으로 되돌릴 수는 없습니다.

하지만 인공지능 연구자들은 이 현상을 컴퓨터 안에서 기어코 거꾸로 돌려놓았습니다. 이미지에 무작위 노이즈를 겹겹이 씌워 완전한 백색소음으로 만든 뒤, 이를 단계적으로 걷어내며 원본을 복원하는 역확산 과정을 학습시킨 것입니다. 이것이 바로 올해 DALL-E 2와 Stable Diffusion을 통해 전 세계를 뒤흔든 확산 모델(Diffusion)의 기본 원리입니다.

이미 캔바(Canva)나 데비안아트(DeviantArt) 같은 창작 플랫폼이 이 기술을 업무 도구로 도입했지만, 확산 모델의 쓰임새는 단순한 그림 그리기에 머물지 않습니다.

끊임없이 붕괴하던 GAN의 한계를 넘다

확산 모델이 등장하기 전 합성 미디어의 주류는 생성적 적대 신경망(GAN)이었습니다. 몇 년 전 유행했던 딥페이크 앱이나 엔비디아가 가짜 얼굴을 고해상도로 만들어내던 StyleGAN이 대표적입니다.

GAN은 가짜를 만드는 생성자와 이를 판별하는 식별자가 서로 경쟁하며 성능을 높이는 구조였습니다. 하지만 둘을 동시에 학습시키는 과정이 워낙 불안정해 생성자가 비슷한 이미지만 무한 반복해 뱉어내는 모드 붕괴가 잦았습니다. 막대한 연산 자원과 데이터가 필요해 규모를 키우기도 까다로웠습니다.

확산 모델은 이 난제를 물리 법칙의 아이디어로 풀어냈습니다. 기술 자체는 약 10년 전부터 존재했지만, OpenAI가 개발한 CLIP이 결합하면서 비로소 대중화의 날개를 달았습니다. 노이즈 덩어리라는 원석을 깎아낼 때, 입력된 텍스트 프롬프트와 얼마나 닮았는지 채점해 주는 노련한 조각가 역할을 CLIP이 맡아준 덕분입니다.

노래 작곡부터 신약과 유전자 서열 설계까지

노이즈를 씌우고 걷어낼 수 있는 데이터라면 무엇이든 확산 모델의 대상이 됩니다.

음악 분야에서는 Stability AI의 지원을 받는 하모나이(Harmonai)가 음악 클립을 생성하는 모델을 선보였고, 리퓨전(Riffusion)이라는 프로젝트는 오디오 스펙트로그램을 이미지로 취급해 그림 생성 모델로 노래를 합성해 냈습니다.

가장 파격적인 영역은 바이오 의약입니다. 스타트업 제너레이트 바이오메디슨(Generate Biomedicines)과 워싱턴대 연구진은 특정 기능을 수행하는 단백질을 설계하는 데 확산 모델을 도입했습니다. 워싱턴대 팀이 설계한 단백질은 혈중 칼슘 농도를 조절하는 부갑상선 호르몬에 기존 치료제보다 더 강력하게 결합하는 데 성공했습니다.

오픈바이오ML(OpenBioML)이 개발 중인 DNA-Diffusion은 특정 세포에서 유전자 발현을 조절하는 DNA 염기서열을 텍스트 명령어로 합성하는 단계까지 나아가고 있습니다.

왜 중요한가

창작자와 개발자 관점에서 확산 모델은 새로운 제품을 만드는 장벽을 완전히 허물었습니다. 리퓨전의 사례처럼 입력 데이터의 형태만 영리하게 비틀면 거대 자본 없이도 독창적인 생성 도구를 만들 수 있습니다. 다만 학습 데이터를 그대로 복제해 출력하는 문제가 여전히 보고되고 있어, 상용화 단계에서의 법적 리스크는 주의 깊게 살펴야 합니다.

산업 전체로 보면 생성 AI의 전선이 그림과 글쓰기 같은 콘텐츠 소비를 넘어 신약 개발과 생명공학이라는 고부가가치 연구 영역으로 단숨에 확장되었습니다.

우리는 확산 모델의 가장 큰 영리함이 GAN의 불안정한 적대적 학습을 버리고, 단계적으로 노이즈를 제어하는 열역학적 확률 모델로 선회한 점에 있다고 봅니다. 물론 컴퓨팅 비용이 여전히 무겁고 과거 GAN이 밀려났듯 더 가벼운 차세대 아키텍처가 등장할 가능성은 열려 있지만, 현재로서는 과학과 예술을 통틀어 가장 범용적이고 위력적인 기반 기술임이 분명합니다.