주요 AI API 취약점 발견: Claude·GPT·Gemini 숨은 추론 과정 유출

AI 기업들이 철저하게 감춰온 추론 모델의 내부 사고 과정이 API 취약점으로 인해 외부에 유출되는 일이 일어났습니다.

저가형 모델로 최상위 모델의 속마음을 읽다

MATS Program 연구진은 Anthropic, OpenAI, Google의 API에서 Claude, GPT, Gemini 모델의 숨겨진 추론 토큰을 추출할 수 있는 취약점을 발견했습니다.

연구팀의 @kotekjedi_ml은 추출된 추론 토큰 수가 API 청구서에 표시된 thinking token 수와 1대1로 정확히 일치했다고 밝혔습니다. 모델 내부의 사고 과정이 고스란히 밖으로 빠져나온 셈입니다.

더 큰 문제는 암호화된 추론 데이터가 세션과 사용자, 심지어 모델 간에도 자유롭게 호환된다는 점입니다. 연구진은 저가형 모델인 Claude Haiku 4.5를 탈옥시켜 최상위 모델 Opus 4.8의 내부 사고 과정을 읽어내는 데 성공했습니다. 실제로 공개된 트레이스 7000개를 스캔한 결과 62개의 API 키와 33개의 이메일 주소, 33개의 비밀번호가 노출된 것으로 확인되었습니다. 현재 주요 연구소들은 취약점 보고를 받고 패치 작업을 시작했습니다.

왜 중요한가

많은 개발자가 추론 토큰이 숨겨져 있다는 전제하에 민감한 비즈니스 로직과 데이터를 프롬프트에 넣고 있었지만, 이번 사례는 모델 내부도 결코 안전한 금고가 아니라는 점을 보여줍니다.

또한 값싼 모델로 최상위 모델의 추론 과정을 훔쳐볼 수 있다면 기술 유출과 불법 모델 증류를 막으려던 선두 기업들의 방어선도 크게 흔들릴 수밖에 없습니다. 앞으로 AI 기업들은 추론 상태의 분리와 보안 프로토콜을 계정 보안 수준으로 격상해야 할 것으로 보입니다.