앤트로픽, 클로드 코드 토큰 절약 팁 공개: 세션 중 모델 변경 피해야

과거의 개발 환경에서는 테스트를 하나 고치든 쉰 개를 고치든 에디터 구독료가 동일했습니다. 하지만 Claude Code와 같은 에이전트 기반 코딩 도구가 보편화되면서, 동일한 작업을 수행하더라도 사용 방식에 따라 소모되는 토큰과 비용이 천차만별로 달라지게 되었습니다.

Anthropic의 엔지니어 Lydia Hallie는 Claude Code 세션에서 토큰 가치를 극대화하고 비용 낭비를 줄이는 실전 가이드를 공개했습니다.

프롬프트 캐시의 작동 원리와 주의점

토큰 비용은 근본적으로 모델을 실행하는 GPU 추론 시간에 기반합니다. 요청은 문맥을 읽는 프리필(입력)과 텍스트를 생성하는 디코드(출력) 단계로 나뉘는데, 디코드는 연산 점유 시간이 길어 출력 토큰 단가가 입력의 약 5배에 달합니다. /effort 명령어로 조절하는 사고 토큰 역시 이 고비용 출력 영역에 속합니다.

이러한 비용을 크게 낮춰주는 장치가 프롬프트 캐시입니다. 캐시된 토큰을 읽는 비용은 일반 입력의 10%에 불과합니다. 단, 캐시는 도구 정의, 시스템 프롬프트, CLAUDE.md, 대화 기록 순으로 이어지는 접두사가 완전히 일치해야만 유지됩니다.

대화 끝에 파일 읽기 결과나 명령어 실행 출력을 덧붙이는 것은 캐시를 유지하는 이상적인 방식입니다. 반면 세션 도중 /model로 모델을 변경하거나 /effort 수준을 바꾸면 캐시 키가 달라져 이전 대화 전체가 정상 가격으로 다시 프리필됩니다. 플랜 모드를 오가며 모델을 바꾸는 opusplan 기능도 마찬가지로 캐시를 깨뜨립니다.

캐시 만료 시간도 기억해야 합니다. 구독제 환경에서는 1시간, API 키 환경에서는 기본 5분(환경변수 ENABLE_PROMPT_CACHING_1H=1 설정 시 1시간) 동안만 캐시가 유지되며, 자리를 오래 비우면 캐시가 만료되어 대규모 재계산이 발생합니다.

토큰 낭비를 줄이는 실전 팁

구조를 이해하면 토큰을 절약하는 습관은 비교적 단순합니다.

작업이 바뀔 때는 /clear를 실행해 무관한 이전 컨텍스트를 비워야 합니다. 이전 작업의 잔여 로그가 남아 있으면 매 턴마다 불필요한 토큰이 전송될 뿐만 아니라 모델의 집중력도 흐려집니다.

모델과 추론 수준은 세션 시작 전에 미리 확정해야 합니다. 대화 도중 설정을 바꾸는 것은 캐시를 완전히 파괴하므로, 변경이 필요하다면 세션 시작 직후나 /clear 직후에 실행하는 것이 저렴합니다.

파일을 지정할 때는 텍스트로 설명하기보다 @-멘션을 사용하는 것이 좋습니다. 파일명을 직접 멘션하면 메시지에 파일이 즉시 첨부되어 별도의 Read 도구 호출이나 탐색 턴을 아낄 수 있습니다.

출력 결과가 긴 명령어는 조용한(quiet) 플래그를 붙이거나 서브에이전트에서 실행해야 합니다. 터미널의 방대한 출력 결과는 대화 기록에 영구적으로 남아 남은 세션 내내 매 턴마다 비용을 발생시키기 때문입니다.

자리를 비우기 전에는 /compact를 실행해 요약을 수행하는 습관이 유용합니다. 캐시가 유지되는 1시간 이내에 요약을 진행하면 10%의 저렴한 캐시 읽기 비용으로 대화를 압축할 수 있어, 휴식 후 복귀했을 때 발생할 전체 재프리필 비용을 막을 수 있습니다.

왜 중요한가

우리는 이번 가이드가 에이전트 코딩 시대에 개발자가 갖춰야 할 새로운 비용 감각을 명확히 짚어냈다고 봅니다.

개발자에게 이 팁들은 지금 즉시 적용할 가치가 충분합니다. 별도의 복잡한 세팅 없이 @-멘션을 쓰거나 자리를 비우기 전 /compact를 누르는 습관만으로도 토큰 비용을 극적으로 낮출 수 있습니다. 특히 API 기반으로 팀 단위 개발을 진행하는 조직이라면 청구 비용 절감 효과가 즉각 나타날 것입니다.

업계 측면에서는 단순한 모델 성능 경쟁을 넘어 실제 사용 환경에서의 추론 효율화가 핵심 경쟁력으로 부상하고 있음을 보여줍니다. 무작정 컨텍스트 창을 넓히는 방식은 비용 폭탄과 모델 집중력 저하로 이어질 수밖에 없습니다.

Anthropic이 과금 구조의 블랙박스를 열어 보이고 캐시 무효화 조건을 투명하게 공유한 것은 매우 영리한 접근으로 보입니다. 비효율적인 조작으로 발생하는 부가적인 토큰 소비를 유도하기보다, 개발자가 비용을 통제할 수 있도록 지원함으로써 도구에 대한 장기적인 신뢰를 확보하고 있습니다.