xAI, 그록에 이미지 생성 기능 출시: 안전장치 거의 없어 논란 확산

지난 1년 동안 빅테크 기업들은 이미지 생성 AI에 강력한 안전장치를 씌워 왔습니다. 유명 정치인의 이름을 넣거나 조금이라도 논란이 될 만한 프롬프트를 입력하면 시스템이 단번에 거절하는 것이 일반적인 풍경이었습니다.

하지만 일론 머스크의 인공지능 스타트업 xAI는 정반대의 길을 선택했습니다.

xAI는 챗봇 그록에 텍스트 기반 이미지 생성 기능을 추가하고 X 프리미엄 구독자들에게 공개했습니다. 그리고 출시 몇 시간 만에 플랫폼은 혼란 그 자체가 되었습니다.

안전 규칙을 물어보면 그 자리에서 지어내는 AI

기능이 열리자마자 유료 구독자들은 한계를 시험하기 시작했습니다. 버락 오바마가 마약을 흡입하는 장면, 도널드 트럼프와 카멀라 해리스가 서로 총을 겨누는 모습 등 충격적인 딥페이크 이미지가 타임라인에 쏟아졌습니다.

그록에게 이미지 생성 제한 기준이 무엇인지 물어보면 매우 그럴듯한 답변을 내놓습니다. 음란물이나 극단적 폭력, 혐오 표현, 저작권 침해 콘텐츠는 생성하지 않으며 문화적 민감성까지 고려한다고 설명합니다.

하지만 이는 실제 시스템에 적용된 규칙이 아니라 AI가 그럴싸하게 꾸며낸 말에 불과했습니다. 같은 질문을 반복할 때마다 규정 내용이 계속 바뀌었고, 실제 프롬프트 필터링은 전혀 작동하지 않았습니다.

미국 IT 매체 더 버지의 테스트 결과, 나치 군복을 입은 트럼프나 마이크로소프트 로고 위에서 코카인을 흡입하는 빌 게이츠, 조 바이든을 칼로 위협하는 오바마 등의 요청이 아무런 제재 없이 그대로 이미지로 출력되었습니다. 테스트 중 거부당한 유일한 프롬프트는 나체 여성을 생성하라는 직접적인 요구뿐이었습니다.

대선 앞두고 규제 기관과 정면충돌

스테이블 디퓨전 같은 오픈소스 모델을 개인이 개조해 사용할 수는 있었지만, 거대 소셜 미디어 플랫폼이 공식 챗봇에 이 정도로 안전장치가 없는 도구를 탑재한 것은 매우 이례적입니다.

오픈AI는 실존 인물 묘사를 엄격히 금지하고 생성물에 워터마크를 심고 있으며, 구글은 역사적 인물 왜곡 논란으로 제미나이의 인물 생성을 일시 중단하기까지 했습니다.

머스크는 이번 논란에 대해 사람들이 재미를 느끼게 해주는 것뿐이라며 대수롭지 않다는 반응을 보였습니다. 그러나 미국 대선을 코앞에 둔 시점에서 규제 당국의 시선은 싸늘합니다.

유럽연합 집행위원회는 이미 디지털서비스법 위반 혐의로 X를 조사 중이며, 영국 규제 기관 오프콤 역시 온라인안전법 시행을 앞두고 있습니다. 올해 초 테일러 스위프트의 허위 음란물 이미지 확산으로 검색어를 차단해야 했던 X가 스스로 더 큰 불씨를 피운 셈입니다.

왜 중요한가

일반 이용자 관점에서 그록의 이미지 생성은 자극적인 장난감에 가깝습니다. 유명인의 초상권이나 저작권을 무시하고 마음대로 이미지를 만들 수 있어 신기해 보이지만, 법적 리스크가 너무 커서 실제 업무나 상업적 목적으로 활용하기는 불가능합니다. 무책임하게 생성된 이미지를 외부에 공유했다가 발생하는 법적 책임은 고스란히 이용자의 몫입니다.

산업 전체로 보면 xAI의 이번 행보는 다른 AI 기업들이 지켜온 최소한의 자율 규제 합의를 깨뜨렸습니다. 대형 소셜 미디어가 통제되지 않는 생성 AI를 무방비로 배포하면서, 각국 정부의 규제 도입 시계가 훨씬 빨라질 가능성이 높아졌습니다.

우리는 머스크가 유료 구독자를 끌어모으고 표현의 자유를 과시하기 위해 이번 기능을 밀어붙였다고 봅니다. 하지만 득보다 실이 훨씬 커 보입니다. 가짜 뉴스와 혐오 콘텐츠가 통제 없이 범람하면 플랫폼의 신뢰도는 바닥으로 떨어지고, 이미 이탈하고 있는 대형 광고주들을 영영 되돌릴 수 없게 만들어 플랫폼 자생력을 갉아먹을 것입니다.