Claude Mythos의 암호 해독: 60시간 만에 양자내성 서명 HAWK 강도 절반으로

지금까지 암호 해독의 주요 무대는 개발자가 코드를 잘못 짰을 때 생기는 구현 취약점이었습니다. 하지만 이제 AI가 암호의 근간인 순수 수학적 구조 자체를 무너뜨리기 시작했습니다.

Anthropic은 Claude Mythos Preview 모델을 활용해 두 가지 암호 알고리즘에서 중대한 수학적 취약점을 찾아냈다고 밝혔습니다. 미국 국립표준기술연구소(NIST)의 양자내성 디지털 서명 표준 후보인 HAWK와 전 세계 표준 대칭키 암호인 AES의 축소 라운드 버전이 그 대상입니다.

60시간과 10만 달러로 키 강도를 절반으로 깎아내다

HAWK는 양자컴퓨터의 공격에 견디도록 설계된 알고리즘으로, 전 세계 석학들의 엄격한 검토를 거치며 2년 넘게 살아남아 NIST 3라운드 후보에 올라 있던 방식입니다.

Anthropic은 격자 기반 암호학 전문가가 아닌 이론 컴퓨터과학 배경의 연구원 한 명을 Claude와 매칭했습니다. Python과 Sage 같은 연산 도구를 쥐어준 다중 에이전트 환경에서 Mythos는 논문을 읽고 수학적 추론을 펼쳤습니다. 흥미롭게도 한 에이전트가 실패할 것 같다며 포기하려던 아이디어를 다른 에이전트가 이어받아 공격 루트를 뚫어내는 협업 능력까지 보여주었습니다.

결과는 놀라웠습니다. 60시간의 작업과 약 10만 달러의 API 비용만으로 HAWK 격자 구조에 숨겨진 대칭성을 찾아내며 유효 키 강도를 절반으로 떨어뜨렸습니다. HAWK-256 기준으로 기존에 2의 64제곱 번 필요했던 연산량이 2의 38제곱 번으로 대폭 단축된 것입니다. 기존 보안 수준을 유지하려면 키 크기를 두 배로 키워야 하는데, 이렇게 되면 HAWK의 가장 큰 장점이었던 효율성이 완전히 무색해집니다.

축소 라운드 AES 실험에서는 인간 개입 없이 완전 자율 환경에서 공격자가 거쳐야 했던 추측 단계를 하나 없애며 기존 최적 공격 속도를 200배에서 800배까지 끌어올렸습니다. 이 작업에도 약 10만 달러가 들었습니다. 연구진은 학계 지원을 위해 취리히 연방공대, 텔아비브대, 베를린 공대와 함께 CryptanalysisBench라는 벤치마크도 공개했습니다.

왜 중요한가

일반 이용자가 당장 비밀번호를 바꾸거나 보안을 걱정할 필요는 없습니다. HAWK는 배포된 적 없는 후보 알고리즘일 뿐이며, AES 공격 역시 라운드 수를 줄인 연구용 버전에 국한되기 때문입니다. Anthropic은 지난 6월 HAWK 원작자들과 NIST 메일링 리스트에 이를 책임감 있게 사전 공개했습니다.

우리가 주목해야 할 지점은 암호학 연구의 문법이 완전히 바뀌었다는 사실입니다. 암호 표준 하나를 검증하기 위해 전 세계 수학자들이 몇 년씩 매달리던 작업을 비전문가와 AI 에이전트가 단 주말 사이에 해치웠습니다.

앞으로는 새로운 암호 알고리즘을 제안할 때 AI를 동원한 사전 검증을 거치지 않는 것 자체가 중대한 결함으로 간주될 가능성이 큽니다. 취약점을 배포 전에 미리 걸러낼 수 있다는 점은 분명 긍정적이지만, 10만 달러 수준의 연산 비용만 감당하면 국가 단위 해커나 공격자도 똑같은 방식으로 암호의 빈틈을 파고들 수 있다는 뜻이기도 합니다.