AI가 만든 비밀번호, 알고 보니 예측 쉽고 취약...보안사고 경고

비밀번호를 직접 만들기 귀찮아서 챗봇에게 그럴듯한 비밀번호를 짜달라고 부탁한 적이 있다면, 지금 당장 바꾸는 편이 좋겠습니다.

보안 기업 Irregular의 최근 분석에 따르면 ChatGPT, Claude, Gemini가 생성한 비밀번호는 겉보기에만 복잡할 뿐, 실제로는 예측하기가 매우 쉬워 손쉽게 크래킹될 수 있는 것으로 나타났습니다.

G7과 vQ만 고집하는 AI 모델들

연구진은 각 모델에게 특수문자, 숫자, 문자가 섞인 6자리 보안 비밀번호를 생성하도록 요청했습니다. 정상적인 난수 생성기라면 겹칠 일이 거의 없어야 하지만, AI의 결과는 전혀 달랐습니다.

Claude Opus 4.6이 생성한 비밀번호 50개 중 고유한 결과는 30개에 불과했습니다. 20개가 중복이었으며, 그중 18개는 글자 하나 다르지 않은 완전히 똑같은 문자열이었습니다.

문자 선택의 편향도 심각했습니다. Claude가 만든 비밀번호는 거의 항상 대문자 'G'로 시작했고 두 번째 자리는 대부분 숫자 '7'이었습니다. 게다가 'L', '9', 'm', '2', '$', '#' 같은 특정 문자는 모든 비밀번호에 등장한 반면, 알파벳 대부분은 단 한 번도 사용되지 않았습니다.

ChatGPT 역시 비밀번호 대부분을 소문자 'v'로 시작했고, 절반 가까이가 두 번째 자리로 대문자 'Q'를 택했습니다. Gemini는 'k'로 시작하는 비율이 높았으며 두 번째 자리는 대개 '#', 'P', '9' 중 하나였습니다.

특이하게도 생성된 50개의 비밀번호 중 같은 문자가 반복해서 들어간 경우는 단 하나도 없었습니다. 언뜻 골고루 섞인 것처럼 보이지만, 확률 통계적으로는 오히려 진짜 무작위가 아니라는 명백한 신호입니다.

확률을 따르는 언어 모델의 태생적 한계

이러한 현상이 나타나는 이유는 대형 언어 모델의 근본적인 작동 원리 때문입니다.

LLM은 통계적 확률에 따라 가장 자연스럽고 그럴듯한 결과물을 이어붙이도록 학습된 시스템입니다. 반면 암호학에서 요구하는 보안성은 엔트로피, 즉 완벽한 예측 불가능성에서 나옵니다.

사람들이 알파벳 'E' 대신 숫자 '3'을 쓰는 식의 뻔한 패턴을 만들듯, AI 역시 그럴듯해 보이는 패턴에 갇히는 취약점을 고스란히 드러냈습니다. Irregular는 프롬프트를 정교하게 다듬거나 온도를 조절하더라도 이 문제는 해결할 수 없다고 지적했습니다.

왜 중요한가

이번 연구는 AI가 아무리 똑똑해 보여도 무작위성이 필요한 영역에서는 근본적인 한계가 있음을 명확히 보여줍니다. 일반 사용자는 챗봇에게 비밀번호를 묻지 말고, 검증된 패스워드 관리자나 운영체제 기본 키체인을 사용하는 것이 안전합니다.

진짜 위험한 지점은 소프트웨어 개발 환경입니다. 최근 코딩 에이전트 도입이 늘어나면서 개발 도중 임시 자격 증명이나 시크릿 키 생성을 LLM에 맡기는 경우가 생길 수 있습니다. 공격자가 LLM 특유의 글자 선호 패턴을 이용해 맞춤형 사전 공격을 시도한다면, 복잡한 연산 없이도 손쉽게 시스템을 뚫어낼 수 있습니다.

우리가 보기에 이 문제는 AI가 안전해 보이는 외형만 그럴듯하게 흉내 낼 뿐, 보안의 본질을 충족하지 못한다는 점을 잘 짚어냈습니다. 암호학과 난수 생성의 영역은 확률을 계산하는 LLM이 아니라, 검증된 전통 알고리즘에 맡겨두는 것이 맞습니다.