AI 속이려 만든 대항적 이미지, 인간의 인지 판단도 흔든다

꽃병 사진에 사람이 알아채지 못할 수준의 노이즈를 살짝 섞으면, AI 모델은 이를 고양이라고 확신하곤 합니다. 이처럼 인공지능을 속이기 위해 설계된 적대적 공격은 지금까지 컴퓨터 비전 모델만의 취약점으로 여겨져 왔습니다.

하지만 구글 딥마인드가 네이처 커뮤니케이션스에 발표한 연구 결과에 따르면 상황은 다릅니다. 기계를 속이도록 정교하게 조작된 미세한 이미지 섭동이 사람의 뇌와 시각적 판단에도 무의식적인 영향을 미치는 것으로 나타났습니다.

무작위로 찍었다고 생각했지만, 뇌는 반응했다

디지털 이미지에서 개별 픽셀의 색상 값은 0에서 255 단계로 나뉩니다. 딥마인드가 설계한 적대적 공격은 픽셀 값을 단 2단계 이상 변경하지 않는 수준으로, 육안으로는 원본과 완전히 똑같아 보입니다.

연구진은 꽃병 원본 이미지를 바탕으로 두 종류의 적대적 이미지를 만들었습니다. 모델은 하나를 고양이로, 다른 하나를 트럭으로 매우 높은 확신을 가지고 오분류했습니다.

그다음 참가자들에게 두 장의 꽃병 이미지를 나란히 보여주며, 어느 쪽이 더 고양이처럼 보이는지 억지로 고르게 했습니다.

참가자들은 두 사진 모두 영락없는 꽃병일 뿐이라며 그저 무작위로 찍고 있다고 느꼈습니다. 하지만 실험 결과, 참가자들은 단순 확률인 50퍼센트를 통계적으로 유의미하게 넘어서는 비율로 AI가 고양이라고 인식한 이미지를 선택했습니다.

사람은 눈앞의 대상이 꽃병이라는 사실을 명확히 인지하고 있었지만, 무의식 수준에서는 미약한 시각적 신호에 이끌려 기계가 내린 오류와 같은 방향으로 판단이 기울어진 셈입니다.

인간의 뇌와 인공신경망이 공유하는 시각적 틈새

기존 연구들은 육안으로 윤곽선 노이즈가 쉽게 드러나는 큰 왜곡에 사람이 반응한다는 사실만 보여줬습니다. 반면 미세한 수학적 노이즈에도 인간의 지각이 편향된다는 점을 밝혀낸 것은 이번이 처음입니다.

인지과학계에서는 인간이 스스로 확신하거나 자각하지 못하는 미세한 감각 신호를 바탕으로 결정을 내리는 경우가 많다고 설명합니다. 이번 실험 역시 뇌가 아주 미세한 고양이의 흔적에 본능적으로 반응했음을 보여줍니다.

이는 인간의 시각 체계와 딥러닝 기반 컴퓨터 비전 모델이 시각적 특징을 추출하는 방식에서 생각보다 많은 공통점을 공유하고 있음을 시사합니다.

딥마인드는 이러한 발견을 통해 컴퓨터 비전 모델이 인간의 시각적 표상과 얼마나 잘 일치하는지 평가하고, 더 견고하고 안전한 AI 시스템을 설계하는 벤치마크로 삼을 수 있다고 설명했습니다.

왜 중요한가

이번 연구는 기계의 오작동과 인간의 인지 과정이 결코 분리되어 있지 않다는 점을 증명했다는 데 큰 의미가 있습니다.

일반 사용자 입장에서 당장 일상생활이 위협받을 일은 없습니다. 완전히 속아 넘어가 꽃병을 고양이라고 오인하는 AI와 달리, 인간의 인지 능력은 여전히 원본 대상을 명확히 분별해 냅니다.

하지만 인터페이스 조작이나 은밀한 넛지 관점에서는 적잖은 경각심을 줍니다. 눈에 띄지 않는 미세한 픽셀 조작만으로 인간의 선택을 특정 방향으로 유도할 수 있다면, 향후 디지털 광고나 추천 썸네일, 투표 화면 등에서 사용자가 눈치채지 못하게 결정을 유도하는 악용 가능성이 존재하기 때문입니다.

우리는 딥마인드가 AI 안전성 문제를 단순한 엔지니어링 패치가 아니라 인지과학 및 뇌과학과의 접점에서 다룬 접근 방식이 매우 영리하다고 평가합니다.

AI를 안전하게 만드는 작업은 기계의 취약점을 막는 것뿐만 아니라, 그 취약점이 인간 사용자에게 미칠 수 있는 미묘한 심리적 영향까지 이해하는 데서 출발해야 한다는 점을 이 연구는 명확히 짚어냈습니다.