엔비디아, 100KB 용량에 4분 만에 학습하는 이미지 생성 기법 '퍼퓨전' 공개

AI에게 내 반려묘의 생김새를 정확히 학습시키려면 지금까지는 수 기가바이트(GB)에 달하는 모델을 별도로 저장하고 오랜 시간 파인튜닝을 거쳐야 했습니다.

Nvidia와 이스라엘 텔아비브 대학교 연구진은 플로피 디스크 한 장에 들어가는 100KB 크기, 학습 시간 단 4분 만에 끝나는 텍스트-투-이미지 개인화 기술인 'Perfusion'을 공개했습니다.

사물의 핵심만 묶어두는 'Key-Locking' 기술

특정 사물이나 캐릭터를 AI에 학습시킬 때 가장 흔히 겪는 문제는 과적합입니다. AI가 학습 이미지를 지나치게 달달 외워버려서, 다른 자세를 그리게 하거나 새로운 배경을 넣으면 원래 모습을 잃어버리거나 부자연스러워집니다.

Perfusion은 이를 해결하기 위해 'Key-Locking'이라는 개념을 도입했습니다. 사용자가 추가하려는 개별 대상(예: 내 고양이 Tom)을 이미지 생성 과정에서 '고양이과 동물'이라는 더 넓은 일반 범주와 연결합니다.

이렇게 하면 모델은 고양이의 자연스러운 움직임과 특징을 그대로 살리면서, Tom만의 고유한 털 무늬나 얼굴형 같은 핵심 정체성만 잠가둘 수 있습니다. 잠을 자거나 털실을 갖고 노는 등 어떤 프롬프트를 입력해도 내 고양이의 특징을 유지한 채 유연하게 그려냅니다.

또한 기존 도구들과 달리, 특정 고양이와 특정 의자처럼 서로 다른 개인화 개념 두 개를 한 화면에 자연스럽게 상호작용하도록 결합하는 것도 가능합니다.

수 GB 용량의 드림부스를 대체할 100KB

기존 이미지 미세조정 방식과 비교하면 크기 차이가 확연합니다.

Stable Diffusion 진영에서 널리 쓰이는 LoRA는 수십 MB에서 1GB 이상 용량을 차지합니다. 재현율이 가장 뛰어난 Dreambooth 모델은 2GB를 훌쩍 넘기기 일쑤입니다. 텍스처 인버전은 가볍지만 정밀도가 떨어집니다.

반면 Perfusion은 전체 모델을 건드리는 대신 생성 과정에서 꼭 필요한 부분만 초고효율로 갱신하기 때문에 100KB라는 극단적인 용량이 가능합니다.

게다가 모델을 다시 학습시킬 필요 없이, 추론 시점에 원본 이미지 충실도와 텍스트 프롬프트 반영 비율을 유저가 자유롭게 조절할 수 있습니다. 억지로 프롬프트에 꿰맞추다 이미지가 뭉개지는 현상을 방지할 수 있는 셈입니다.

Nvidia에 따르면 Stable Diffusion v1.5, SDXL, MidJourney 등 기존 대표 도구들의 튜닝 방식보다 우수한 성능을 보여줍니다. 현재는 논문만 공개된 상태이며 코드는 곧 배포될 예정입니다.

왜 중요한가

AI 인프라 시장을 쥐고 있는 Nvidia가 모델의 군살을 극단적으로 덜어내는 알고리즘 연구까지 주도하고 있다는 점이 눈에 띕니다.

서비스 개발자와 창작자 입장에서 이 기술의 가치는 명확합니다. 수백만 명의 유저에게 각자의 커스텀 캐릭터 모델을 제공하려면 막대한 서버 저장 비용과 로딩 지연이 발생했습니다. 100KB 수준이라면 스마트폰 로컬 환경이나 가벼운 브라우저 캐시에서도 순식간에 개인화 모델을 갈아 끼울 수 있습니다.

우리는 거대 모델의 파라미터 경쟁 속에서, 실제 상용화의 가장 큰 병목이었던 '개인화 배포 비용'을 정조준했다는 점에서 매우 영리한 접근이라고 봅니다.

다만 아직 오픈소스 코드가 정식 공개되지 않았기 때문에, 논문에서 제시한 뛰어난 결과물이 까다로운 피사체나 복잡한 아트 스타일에서도 그대로 재현될지는 커뮤니티의 검증을 거쳐야 합니다. 그럼에도 수 기가바이트씩 모델을 쌓아두고 쓰던 기존 작업 방식을 완전히 뒤흔들 잠재력은 충분합니다.