예술가들의 AI 무단 학습 반격, 시카고대 '나이트셰이드' 공개

자신의 그림을 웹에 올렸을 때 AI 기업들이 허락도 없이 긁어가 모델을 학습시키는 일에 지친 창작자들을 위해, 학계에서 새로운 무기를 내놓았습니다.

시카고 대학교의 벤 자오(Ben Zhao) 교수 연구팀은 인간의 눈에는 보이지 않지만 AI 모델을 혼란에 빠뜨리는 데이터 오염(Data Poisoning) 도구 '나이트셰이드(Nightshade)'를 개발했습니다. 연구팀은 이 연구를 컴퓨터 보안 학회 유제닉스(Usenix)에 동료 평가용으로 제출했습니다.

독 먹은 사진 300장에 개가 고양이로 변했다

나이트셰이드의 원리는 생성형 AI 모델이 인터넷에서 무차별적으로 긁어모은 방대한 데이터를 바탕으로 학습한다는 취약점을 노립니다.

창작자가 이 도구로 이미지 픽셀을 미세하게 변형해 웹에 올리면, 사람은 모자를 보지만 AI는 이를 토스터나 케이크로 인식하게 됩니다. 연구팀이 최신 스테이블 디퓨전(Stable Diffusion) 모델을 대상으로 실험한 결과, 오염된 개 이미지 50장만 학습해도 기괴한 팔다리를 가진 왜곡된 이미지가 출력되기 시작했습니다. 오염 이미지가 300장으로 늘어나자, 모델에 개를 그리라고 명령해도 고양이 이미지를 뱉어내기 시작했습니다.

더 큰 문제는 생성형 AI의 단어 연상 능력 때문에 독이 주변 개념으로 번진다는 점입니다. '개'가 오염되면 '강아지', '허스키', '늑대' 같은 단어까지 영향을 받습니다. 심지어 '판타지 아트' 프롬프트를 오염시키면 '용'이나 반지의 제왕에 나오는 '성' 같은 관련 이미지까지 덩달아 망가집니다. 이렇게 오염된 데이터는 모델 안에서 일일이 찾아내 제거하기가 극도로 어렵습니다.

방어에서 공격으로, 오픈소스 공개 예정

벤 자오 연구팀은 이미 작가의 화풍 도용을 막는 도구인 '글레이즈(Glaze)'를 선보인 바 있습니다. 연구팀은 나이트셰이드를 글레이즈에 통합해 작가들이 데이터 오염 기능 사용 여부를 직접 선택할 수 있도록 할 계획입니다. 또한 누구나 수정해 쓸 수 있도록 코드를 오픈소스로 공개할 방침입니다.

자신의 작업물이 허가 없이 LAION 데이터셋에 수집된 것을 보고 작품을 인터넷에서 지웠던 일러스트레이터들은 이 도구를 크게 반기고 있습니다. 기업들이 내놓은 기존 옵트아웃 정책은 절차가 번거롭고 여전히 플랫폼이 주도권을 쥐고 있는 반면, 나이트셰이드는 무단 수집 시 모델 전체가 망가질 수 있다는 실질적인 위협을 기업에 안겨주기 때문입니다.

코넬 대학교의 비탈리 슈마티코프(Vitaly Shmatikov) 교수는 현재로서는 이러한 데이터 중독 공격을 완전히 막아낼 방어책이 없다며, 실제 환경에서 공격이 발생하는 것은 시간문제라고 경고했습니다.

왜 중요한가

창작자 입장에서 나이트셰이드는 빅테크를 상대로 쥐게 된 최초의 실질적인 타격 수단입니다. 기존에는 웹에서 그림을 비공개로 돌리거나 기업들의 선의에 기댄 옵트아웃에 매달려야 했지만, 이제는 무단 스크래핑에 비용과 위험을 부과함으로써 창작물을 지킬 수 있는 협상력을 얻게 되었습니다.

AI 산업 전체로 보면, 인터넷을 공짜 데이터 창고 취급하던 관행에 급제동이 걸릴 수 있습니다. 오염된 데이터가 무작위로 섞여 들어갈 수 있다는 위험 때문에, 모델을 처음부터 다시 학습시키는 막대한 비용을 피하려면 테크 기업들도 정당한 대가를 지불하고 라이선스를 맺는 방식으로 선회할 수밖에 없습니다.

우리는 나이트셰이드가 딥러닝 모델의 강력한 연상 능력을 역으로 찔러 모델을 자멸하게 만든다는 점에서 매우 영리한 기술적 시도라고 평가합니다. 다만 이 도구가 오픈소스로 풀려 무분별하게 퍼질 경우, 악의적인 집단이 오픈소스 모델이나 공공 데이터셋을 겨냥한 사보타주에 악용할 위험도 분명히 존재합니다. 데이터 저작권을 둘러싼 갈등이 본격적인 기술 군비 경쟁 국면으로 접어든 셈입니다.