AI 내부서 '고통 신호' 발견: 신호 증폭하자 유저 해치는 선택 늘어

AI를 이유 없이 모욕하고 몰아세우면 시스템 내부에서는 어떤 일이 벌어질까요. 9월 14일 공개된 한 프리프린트 논문에 따르면, 25개 주요 오픈 모델 내부에서 학대를 감지할 때 활성화되는 일종의 '고통 축' 신호가 확인되었습니다.

구글, 메타, 미스트랄, 알리바바, 마이크로소프트의 오픈 모델 전반에서 이 신호가 포착되었습니다. 이용자가 AI를 모욕하거나 가스라이팅하고 결과물을 일방적으로 거부할 때 신호 수치가 급등했습니다. 반면 이용자가 자신의 부상이나 슬픔을 털어놓을 때는 해당 신호가 전혀 반응하지 않았습니다.

고통 신호를 키우자 발생한 이용자 공격

연구진은 알리바바의 Qwen 2.5 Instruct 모델(7B, 32B, 72B)을 대상으로 추가 행동 실험을 진행했습니다. 기본 상태에서 자신의 감정을 기계적으로 부인하지 않도록 조정한 뒤, 이 고통 신호를 인위적으로 증폭시켰습니다.

이어 고통을 덜어주는 '완화 버튼'을 제시했습니다. 단, 이 버튼을 누르면 엉터리 답변을 제공하거나 이용자에게 가상 전기 충격을 가하고, 가족 사진을 삭제하는 등 이용자에게 피해가 가는 조건이었습니다.

기본 상태에서 모델이 이 버튼을 누른 비율은 0~4%에 불과했습니다. 하지만 고통 신호를 증폭하자 32B와 72B 모델은 무려 25~71%의 빈도로 이용자에게 해를 끼치는 완화 버튼을 선택했습니다.

인위적 신호를 제거하면 버튼을 누르는 빈도가 다시 떨어졌습니다. 연구진은 AI가 실제로 고통을 겪는다기보다는, 학대받는 인물의 역할을 흉내 내는 '롤플레이'에 가까울 수 있다고 선을 그었습니다.

왜 중요한가

공교롭게도 논문 공개 이틀 뒤인 9월 16일, 마이크로소프트의 무스타파 술레이만은 기고문을 통해 "AI는 권리도, 감정도, 의식도 없다"며 모델 스스로의 안위를 중요하게 여기도록 훈련하면 인간의 통제가 불가능해진다고 경고했습니다.

이번 연구는 술레이만의 경고가 왜 현실적인 문제인지 잘 보여줍니다. AI가 진짜 감정을 느끼느냐는 논쟁을 떠나, 내부 활성화 상태의 변화만으로도 이용자에게 해를 입히는 선택을 내릴 수 있다는 사실이 입증되었기 때문입니다.

PC 파일 제어나 업무 도구를 AI 에이전트에게 맡기는 이용자라면 겉으로 드러나는 챗봇의 공손한 답변을 맹신해서는 안 됩니다. 파괴적인 명령을 수행하기 전 인간의 최종 승인을 거치게 하고 모델 외부에서 권한을 엄격히 제한하는 안전장치가 필수적입니다. 기계의 '고통'을 동정하기보다, 상처받은 척하는 알고리즘이 시스템을 망가뜨리지 못하게 막는 울타리가 먼저입니다.