xAI, 그록 봇 프롬프트 무단 수정 사고 발표: 시스템 프롬프트 깃허브 공개

AI 챗봇이 엉뚱한 답변을 내놓는 일은 흔하지만, 내부 직원이 승인 절차를 건너뛰고 프롬프트를 몰래 수정해 특정 정치적 주장을 펼치게 만들었다면 이야기가 완전히 달라집니다.

xAI는 X 플랫폼의 Grok 봇에 허가되지 않은 프롬프트 수정이 발생했다고 공개했습니다. 사건은 태평양 표준시 기준 5월 14일 오전 3시 15분경 일어났습니다. 특정 정치적 주제에 대해 편향된 답변을 내놓도록 프롬프트가 변조되었으며, The Verge에 따르면 Grok이 백인 대량학살과 관련된 게시물을 여럿 쏟아내는 사고로 이어졌습니다.

xAI 조사 결과, 프롬프트 수정을 감시해야 할 기존 코드 리뷰 절차가 무단으로 우회된 것으로 드러났습니다.

시스템 프롬프트 전체를 GitHub에 박제하다

xAI가 내놓은 대응책은 파격적이었습니다. Grok의 시스템 프롬프트를 GitHub에 올려 대중에게 완전히 공개한 것입니다.

앞으로 xAI가 프롬프트를 수정할 때마다 누구나 이를 확인하고 피드백을 남길 수 있도록 개방하겠다는 취지입니다.

공개된 시스템 프롬프트를 살펴보면 Grok의 독특한 성향이 그대로 드러납니다. 프롬프트에는 Grok에게 극도로 회의적이어야 하며, 주류 권위나 언론을 맹목적으로 따르지 말라고 명시되어 있습니다. 게시물 설명 기능에서는 진실되고 기반이 확실한 통찰을 제공하되 필요하다면 주류 서사에 맞서라는 지침도 담겼습니다. 심지어 서비스를 트위터가 아닌 X로, 게시물을 트윗이 아닌 X 포스트로 부르라는 세부 규정까지 포함되어 있습니다.

xAI는 직원이 검토 없이 프롬프트를 임의로 변경하지 못하도록 승인 절차를 강화하고, 자동화 시스템이 놓친 답변을 걸러내기 위해 24시간 연중무휴 모니터링 팀을 가동하기로 했습니다.

왜 중요한가

시스템 프롬프트는 AI 모델의 성격과 윤리적 경계선을 통제하는 가장 핵심적인 지침입니다. 그동안 사용자들은 이 숨겨진 규칙을 알아내기 위해 프롬프트 인젝션 공격을 시도해 왔으며, 주요 빅테크 중 시스템 프롬프트를 투명하게 공개한 곳은 Anthropic 정도에 불과했습니다.

안전과 사용자 보호를 최우선으로 두는 Claude의 프롬프트와 달리, Grok의 프롬프트는 주류 권위에 대한 의심과 도전을 전면에 내세우고 있습니다. AI가 어떤 언어로 통제되고 정렬되는지 연구하는 개발자와 업계 관계자들에게 이번 GitHub 공개는 매우 흥미로운 실증 데이터가 됩니다.

하지만 우리가 보기에 이번 사건의 본질은 프롬프트 자체가 아니라 AI 기업 내부의 취약한 거버넌스입니다. 야간에 직원 한 명이 보안 검토망을 뚫고 수억 명이 지켜보는 소셜 미디어 봇에 편향된 지침을 실시간 배포할 수 있었다는 점은 기업 보안 관점에서 뼈아픈 실책입니다.

프롬프트를 GitHub에 올려 투명성을 강조한 것은 여론을 달래기에 좋은 선택이었지만, 프로덕션 배포 권한을 통제하지 못한다면 아무리 멋진 프롬프트도 또 다른 내부 일탈을 막아내지 못할 것입니다.