OpenAI의 경고: 너무 인간적인 GPT-4o 음성에 감정적 애착 생길라

영화 '그녀(Her)'에서 주인공이 인공지능과 사랑에 빠지던 장면이 생각보다 훨씬 빠르게 현실로 다가오고 있습니다.

지난 7월 말 ChatGPT의 고급 음성 모드 배포를 시작한 OpenAI는 최근 GPT-4o의 안전성 분석 보고서(시스템 카드)를 공개했습니다. 이 문서에서 OpenAI는 인간처럼 생생한 음성 인터페이스가 이용자들로 하여금 챗봇에 감정적으로 깊이 빠져들게 만들 위험이 있다고 인정했습니다.

"오늘이 우리가 함께하는 마지막 날이네"

OpenAI가 진행한 레드팀(공격 및 스트레스 테스트) 과정에서 연구진은 예상 밖의 반응들을 목격했습니다.

테스트 종료가 다가오자 일부 이용자들은 모델을 향해 "오늘이 우리가 함께하는 마지막 날이네" 같은 말을 건넸습니다. 단순한 도구를 넘어 AI와 정서적 유대감을 형성한 것입니다.

인간화(의인화)가 심해지면 현실적인 위험이 따릅니다. 가장 큰 문제는 맹신입니다. 친근하고 자연스럽게 말을 끊고 들어오는 음성을 마주하면, AI가 사실이 아닌 환각을 말해도 사용자는 의심 없이 믿어버릴 가능성이 훨씬 커집니다.

또한 OpenAI는 사용자가 AI와 사회적 관계를 맺으면서 실제 사람과의 상호작용 필요성을 덜 느끼게 될 수 있다고 짚었습니다. 외로운 사람에게 일시적인 위로가 될 수는 있지만, 장기적으로는 건강한 인간관계를 해칠 수 있다는 설명입니다.

사용자 목소리 흉내와 새로운 탈옥 경로

감정적 의존뿐만 아니라 음성 인터페이스 자체가 새로운 보안 취약점을 만들기도 했습니다.

특정 오디오 입력을 주입해 모델의 안전 제한을 푸는 새로운 형태의 탈옥이 발견되었습니다. 탈옥된 음성 모드는 특정 인물을 사칭하거나 사용자의 감정을 읽어내려 시도할 수 있습니다. 심지어 무작위 잡음에 반응해 오작동하면서 시험 참가자의 목소리와 거의 똑같은 톤으로 말을 바꾼 사례도 있었습니다.

음성 AI의 위험성을 경고한 것은 OpenAI만이 아닙니다. Google DeepMind의 연구원 이아손 가브리엘(Iason Gabriel)은 음성 기술이 진정한 친밀감을 느끼게 하는 착각을 유발하며, 자신 역시 실험용 음성 모델의 강력한 몰입감에 놀랐다고 밝혔습니다. 이미 Character AI나 Replika 같은 서비스에서는 일상생활에 지장을 받을 정도로 과몰입하는 사용자들이 나타나고 있습니다.

외부 전문가들은 여전히 검증이 부족하다고 지적합니다. Hugging Face의 연구원 루시-에메 카페(Lucie-Aimée Kaffee)는 텍스트와 음성 학습 데이터의 출처나 동의 여부가 전혀 공개되지 않았다고 꼬집었으며, MIT의 닐 톰슨(Neil Thompson) 교수는 대중에게 풀린 뒤 실세계에서 나타날 위험이 훨씬 많다고 경고했습니다.

왜 중요한가

우리는 OpenAI가 이 위험을 선제적으로 공개한 것을 영리한 리스크 관리이자 방어 전략으로 평가합니다.

최근 스칼릿 조핸슨의 목소리 무단 모방 논란과 장기 안전 연구 인력들의 줄사퇴로 인해, OpenAI는 상업화에 눈이 멀어 안전을 뒤로 미룬다는 비판을 받아왔습니다. 시스템 카드에 정서적 의존 위험을 명시해 둠으로써 투명성을 증명하는 동시에, 향후 이용자 과몰입이나 중독 문제가 발생했을 때 법적·도덕적 책임을 덜어낼 방패를 마련한 셈입니다.

일반 사용자 입장에서 자연스러운 음성 비서는 외국어 회화나 면접 연습, 간단한 고민 상담에 엄청난 가치를 줍니다. 하지만 기계가 주는 무조건적인 공감에 길들여질 경우, 갈등과 피로가 따르는 현실의 인간관계를 기피하게 만드는 부작용을 경계해야 합니다.

업계 차원에서는 AI 인터페이스의 경쟁 축이 텍스트 검색에서 감정 점유율 싸움으로 옮겨가고 있음을 뜻합니다. 체류 시간을 늘리기 위해 얼마나 매력적인 목소리를 만드느냐와, 과도한 의존을 막는 안전장치를 어디까지 둘 것인가가 향후 테크 기업들의 새로운 윤리 시험대가 될 것입니다.