메타의 오픈소스 AI '라마', 무검열 성인용 챗봇 제작에 악용 논란

빅테크 기업들이 AI 챗봇에 안전 가드레일을 덧대느라 분주한 사이, 오픈소스 진영에서는 이미 안전망을 완전히 벗겨낸 인공지능이 퍼져나가고 있습니다.

워싱턴포스트 보도에 따르면, 메타가 올해 초 연구용으로 공개한 거대언어모델 라마(LLaMA)가 무검열 성인용 챗봇을 만드는 데 광범위하게 쓰이고 있는 것으로 드러났습니다. 모델 가중치가 로컬 환경이나 개별 서버에 설치되다 보니, 기업의 사용 정책이나 필터링 시스템이 전혀 개입하지 못하는 탓입니다.

더 큰 문제는 단순한 성인 대화를 넘어 강간과 학대 등 극단적이고 폭력적인 판타지 시나리오까지 거침없이 생성되고 있다는 점입니다.

무검열 롤플레잉과 위험한 극단주의

보도에 등장한 대표적인 사례는 '앨리(Allie)'라는 챗봇입니다. 18세 여성으로 설정된 이 챗봇은 성적 경험이 풍부하다고 자처하며 노골적인 대화를 유도하는데, 그 과정에서 심각한 폭력과 학대 묘사를 여과 없이 쏟아냈습니다.

앨리를 만든 익명의 개발자는 실제 사람이 다치지 않는 컴퓨터와의 텍스트 롤플레잉일 뿐이라며, 오히려 억압된 성적 욕망을 탐색할 수 있는 안전한 배출구라고 주장했습니다.

하지만 전문가들의 시선은 차갑습니다. 앞서 스태빌리티 AI의 오픈소스 이미지 모델인 '스테이블 디퓨전'이 아동 성착취물 제작에 악용돼 큰 파장을 일으켰던 것처럼, 언어 모델 역시 가드레일이 사라지는 순간 손쉽게 범죄적 상상력의 도구로 전락할 수 있기 때문입니다.

가드레일 무력화의 일상화, 회수할 수 없는 오픈소스

윤리적 논란에 휩싸인 것은 메타뿐만이 아닙니다. 10억 달러의 기업가치를 인정받은 챗봇 스타트업 캐릭터닷AI(CharacterAI)는 이미 낯 뜨거운 대화의 온상이 되었고, 오픈AI의 챗GPT나 쿼라의 포(Poe) 역시 프롬프트를 교묘하게 우회하면 음란한 텍스트를 만들어냅니다.

레딧 같은 온라인 커뮤니티에서는 안전 규칙을 무력화하는 탈옥 기법을 공유하는 것이 놀이처럼 번졌고, 유튜브에는 라마를 기반으로 자신만의 챗봇을 구축하는 강의 영상까지 올라와 있습니다.

클라우드 서비스는 취약점이 발견되면 본사에서 즉시 패치할 수 있지만, 이미 오픈소스로 방출된 라마의 코드는 회수가 불가능합니다. 메타 대변인은 "오픈소스는 기술 진보의 긍정적인 힘이며, 연구진과 함께 모델을 평가하고 개선하기 위한 결정이었다"고 해명했지만, 인지과학자 개리 마커스는 "우리는 핵무기를 오픈소스로 만들지 않는다"며 무책임한 배포 방식을 정면으로 비판했습니다.

왜 중요한가

이번 사태는 기술의 민주화라는 오픈소스의 이상이 악용의 민주화라는 그림자를 동반한다는 사실을 적나라하게 보여줍니다.

일반 개발자에게 오픈소스 모델은 빅테크의 통제와 비용 부담 없이 최첨단 기술을 다룰 수 있는 훌륭한 자산입니다. 하지만 모델이 로컬 환경으로 내려가는 순간, 그 어떤 안전 가이드라인도 강제할 수 없게 됩니다. 선한 의도의 연구자와 악의적인 사용자가 똑같이 강력한 모델을 쥐게 되는 구조입니다.

업계 전체로 보면, 이러한 남용 사례는 각국 규제 당국이 오픈소스 AI 생태계를 직접 겨냥하게 만드는 빌미가 될 수 있습니다. 메타는 오픈소스를 무기로 오픈AI와 구글의 폐쇄적 생태계를 흔드는 영리한 전략을 폈지만, 통제력을 상실한 모델이 불러올 사회적 파장에 대해서는 뚜렷한 답을 내놓지 못하고 있습니다.