메릴랜드대 연구진, AI 워터마크 전멸 판정: 전부 무력화되고 위조까지 가능

생성형 AI로 만든 가짜 이미지와 딥페이크를 막기 위해 빅테크 기업들이 야심 차게 내놓은 디지털 워터마크 기술이 연구진의 공격 실험에서 완전히 무력화되었습니다.

미국 메릴랜드 대학교 컴퓨터과학과 소헤일 페이지(Soheil Feizi) 교수 연구팀은 현재 쓰이는 AI 워터마크 기술들을 테스트한 결과 모두 뚫어내는 데 성공했다는 내용의 사전 인쇄본 논문을 공개했습니다. 육안으로 보이지 않는 저섭동 워터마크에 대해 페이지 교수는 전혀 가망이 없다고 단언했습니다.

워터마크 세척은 물론, 진짜 사진 누명 씌우기도 가능

연구팀은 악의적인 공격자가 이미지에서 워터마크를 지워버리는 이른바 워터마크 세척 공격을 성공적으로 시연했습니다.

더 큰 문제는 반대 방향의 공격도 너무 쉽게 이뤄진다는 점입니다. 공격자가 AI 워터마크를 복제해 사람이 직접 찍은 사진이나 그림에 심어버리면, 검증 시스템은 진짜 사진을 AI가 생성한 가짜라고 오탐하게 됩니다.

이러한 취약점 지적은 이번이 처음이 아닙니다. 지난 8월 UC 샌타바버라와 카네기멜론 대학교 연구진도 보이지 않는 워터마크는 모두 공격에 취약하다는 연구 결과를 발표한 바 있습니다. 이번 메릴랜드대 연구는 여기서 한 발 더 나아가, 육안으로 보이는 고섭동 워터마크조차 손쉽게 조작될 수 있음을 입증했습니다.

창과 방패의 싸움, 업계 반응은 엇갈려

2024년 미국 대선을 앞두고 조작 미디어에 대한 불안감이 커지자, 올여름 오픈AI, 알파벳, 메타, 아마존 등 빅테크 기업들은 백악관에서 워터마크 개발을 약속했습니다. 구글 딥마인드 역시 지난 8월 말 자체 워터마크 도구인 신스ID(SynthID) 베타 버전을 선보였지만, 당시에도 완벽한 도구는 아니라는 단서를 달았습니다.

현장의 보안 기업들은 회의적입니다. AI 탐지 스타트업 리얼리티 디펜더의 벤 콜먼 CEO는 워터마크가 실제 환경에서는 쉽게 위조되거나 제거될 수 있어 실패할 수밖에 없다고 지적했습니다. AI 감지 우회 서비스를 제공하는 언디텍터블의 바스 주하스 공동창업자 역시 워터마크를 몇 초 만에 지워주는 서비스가 이미 산업으로 자리 잡았다고 밝혔습니다.

반면 UC 버클리의 하니 파리드 교수나 메릴랜드대의 톰 골드스타인 교수는 워터마크 무용론에는 선을 긋고 있습니다. 모든 고도화된 공격을 막을 수는 없더라도, 초보적인 수준의 가짜 생성을 걸러내는 위해 감소 수단으로서 다른 기술과 결합해 다층 방어선으로 활용해야 한다는 입장입니다.

왜 중요한가

우리는 워터마크를 딥페이크의 만병통치약처럼 홍보해 온 빅테크의 접근 방식에 분명한 한계가 드러났다고 봅니다. 규제 당국의 압박을 피하기 위해 신속하게 워터마크 도입을 약속한 것은 전략적으로 영리했을지 모르지만, 쉽게 뚫리는 방어벽에 대중이 헛된 안도감을 갖게 만든다는 치명적인 약점이 있습니다.

일반 이용자와 미디어 입장에서 이제 워터마크 유무만으로 이미지의 진위를 가리는 것은 매우 위험합니다. 악의적인 행위자가 진짜 보도 사진에 AI 워터마크를 심어 조작된 이미지로 둔갑시키는 역공격이 가능해졌기 때문입니다.

결국 업계는 픽셀 안에 숨겨둔 워터마크 하나에만 의존하는 단편적인 탐지 방식을 넘어설 수밖에 없습니다. 생성 시점의 암호화 서명과 유통 경로 추적 등 다각적인 콘텐츠 출처 증명 인프라를 마련하지 않는다면, 다가오는 대규모 정보 조작의 파도를 막아내기 어려울 것으로 보입니다.