MS "중국, 美 대선 유권자 여론 분열에 생성형 AI 악용"

소셜 미디어에서 여론을 조작하던 계정들은 그동안 티가 많이 났습니다. 어설픈 스톡 사진 합성이나 조악한 디지털 그림 탓에 조금만 유심히 봐도 가짜임을 알아차릴 수 있었습니다.

하지만 생성형 AI가 보급되면서 판도가 완전히 달라졌습니다.

마이크로소프트 위협분석센터는 9월 7일 보고서를 내고, 중국 연계 세력으로 추정되는 가짜 소셜 미디어 계정망이 2024년 미국 대선을 앞두고 유권자 분열을 유도하기 위해 AI 생성 이미지를 활용하고 있다고 경고했습니다.

워싱턴 주재 중국 대사관 대변인은 이에 대해 편견과 악의적인 추측으로 가득 차 있다며, 중국은 AI의 안전한 사용을 지지한다고 반박했습니다.

스톡 사진 버리고 확산 모델 장착한 여론 공작

보고서에 따르면 이들 계정은 2023년 3월 무렵부터 생성형 AI 기술을 쓰기 시작했습니다. 미국 유권자로 위장해 정치적으로 민감한 영문 콘텐츠를 만들어내며 보수와 진보 양측의 갈등을 동시에 부추겼습니다.

플랫폼 이름이 직접 언급되지는 않았지만, 보고서에 첨부된 스크린샷에는 페이스북과 트위터(현 X)의 게시물이 그대로 담겼습니다.

이들이 파고든 주제는 총기 규제, 인종 갈등, 흑인 생명도 소중하다 운동처럼 미국 사회에서 가장 민감한 사안들이었습니다. 유력 정치인을 비방하는 이미지도 함께 유포되었습니다.

대표적인 사례로 공개된 이미지는 자유의 여신상이 돌격소총을 들고 있는 모습으로, 그 아래에는 모든 것이 버려지고 있다, 폭력의 여신이라는 문구가 적혀 있었습니다.

이들 계정은 공개 위치를 미국 내로 설정하고 현지 정치 구호와 해시태그를 적극적으로 활용했습니다. 마이크로소프트 연구진은 과거 수작업 그래픽이나 조잡한 합성에 의존하던 시절보다 확산 모델 기반 이미지가 시각적으로 훨씬 눈길을 끌고 설득력이 높다고 짚었습니다.

보고서는 이런 선전 콘텐츠가 40개 언어로 최대 1억 3백만 명에게 도달했을 것으로 추산했습니다. 지난주 메타 역시 세계 최대 규모의 은밀한 다중 플랫폼 영향력 공작을 적발해 차단했다고 밝힌 바 있습니다.

배후 지목 근거에 대해 마이크로소프트 대변인은 로이터에 기술적, 행동적, 맥락적 증거를 결합한 다차원 귀속 모델을 활용했다고 설명했습니다.

왜 중요한가

일반 이용자에게 가장 중요한 교훈은 이제 피드에 뜨는 자극적인 시각 자료를 그대로 믿어서는 안 된다는 점입니다. 번역 투의 어색한 문장이나 어설픈 합성 사진을 거르는 수준으로는 부족해졌습니다. 생성형 AI로 인해 진짜 같은 선동 콘텐츠를 찍어내는 비용이 거의 제로에 가까워졌기 때문입니다.

소셜 플랫폼과 보안 업계에도 비상이 걸렸습니다. 기존의 텍스트 필터링이나 기존 이미지 데이터베이스 대조 방식으로는 매번 새롭게 렌더링되는 AI 이미지를 막아내기 어렵습니다. 결국 콘텐츠 출처를 추적하는 암호화 워터마크 기술 도입이 강제되는 국면으로 접어들고 있습니다.

저희가 보기에 마이크로소프트의 이번 발표는 대선 정국이 본격화되기 전 선제적으로 보안 역량을 입증한 영리한 행보입니다. 다만 씁쓸한 이면도 분명합니다. 오픈소스 모델이 널리 퍼진 상황에서 기술적 추적만으로 배후를 명확히 가려내기는 갈수록 힘들어지고 있으며, 외부 세력의 개입과 국내 정치 세력의 자발적 밈 전파 사이의 경계는 앞으로 더 흐려질 것으로 보입니다.