Anthropic, Claude에 프롬프트 캐싱 도입…비용 최대 90% 절감

거대언어모델을 활용해 서비스를 만들 때 가장 아까운 비용은 매번 똑같은 시스템 설정과 방대한 코드베이스를 처음부터 다시 보내는 데 드는 토큰입니다.

Anthropic이 Claude API에 프롬프트 캐싱(Prompt Caching) 기능을 도입했습니다. 자주 사용하는 컨텍스트를 호출 사이에 저장해 둠으로써 긴 프롬프트의 비용을 최대 90% 줄이고 지연 시간을 최대 85%까지 단축했습니다.

책 한 권 분량의 프롬프트, 첫 글자 응답이 11.5초에서 2.4초로

긴 텍스트를 다루는 작업에서 체감 차이는 확연합니다. 10만 토큰에 달하는 책 전체를 컨텍스트에 넣고 질문했을 때 첫 토큰 반환 시간은 11.5초에서 2.4초로 약 79% 줄었고, 비용은 90% 절감됐습니다.

긴 시스템 프롬프트가 포함된 10회의 다중 턴 대화에서도 첫 응답 지연 시간이 약 10초에서 약 2.5초로 줄어들며 비용이 53% 절약됐습니다. 협업 툴인 Notion은 이미 Notion AI에 이 기능을 도입해 서비스 반응 속도를 높이고 운영 비용을 줄였습니다.

사용법은 간단합니다. API 요청 시 cache_control 파라미터를 추가하면 대화가 이어질 때 자동으로 캐시를 갱신하거나, 최대 4개까지 직접 브레이크포인트를 지정할 수 있습니다. 캐시는 1024개 토큰 단위로 작동합니다.

가격 체계는 쓰기는 25% 비싸고, 읽기는 90% 할인되는 구조입니다. Claude 3.5 Sonnet 기준 기본 입력 단가는 100만 토큰당 3달러이지만, 캐시를 생성하는 첫 호출에는 3.75달러가 청구됩니다. 대신 캐시가 적중하는 다음 호출부터는 0.3달러로 떨어집니다.

캐시의 기본 유효 수명(TTL)은 5분이며, 호출될 때마다 다시 5분으로 갱신됩니다. 1시간 유지 옵션도 선택할 수 있습니다. 다만 유효 시간은 요청이 시작된 시점부터 계산되므로, 모델이 긴 답변을 스트리밍하느라 시간을 많이 쓰면 다음 요청을 위해 남는 유효 시간은 그만큼 줄어듭니다.

왜 중요한가

우리는 프롬프트 캐싱이 올해 공개된 LLM 인프라 기능 중 실질적인 비즈니스 효용이 가장 큰 기술 중 하나라고 봅니다.

개발자와 스타트업 입장에서는 AI 에이전트의 경제성이 완전히 달라집니다. 과거에는 여러 차례 도구를 호출하거나 코드베이스 전체를 컨텍스트에 유지하려면 비용 부담 때문에 프롬프트를 억지로 잘라내야 했습니다. 하지만 캐시 적중 단가가 10분의 1 수준으로 떨어지면 수십 개의 고품질 예시(Few-shot)를 마음 놓고 넣을 수 있고 복잡한 에이전트 루프도 합리적인 비용으로 굴릴 수 있습니다.

업계 차원에서는 경쟁의 초점이 단순히 컨텍스트 윈도우 크기를 자랑하는 것에서 벗어나, 대규모 컨텍스트를 얼마나 싸고 빠르게 실서비스에 쓸 수 있느냐로 옮겨갔습니다. 모델 단가표 자체를 내리지 않고도 실질 청구액을 획기적으로 낮추는 영리한 방식이어서 경쟁사들도 비슷한 캐싱 인프라 최적화를 서두를 수밖에 없습니다.

다만 트래픽 패턴에 따른 주의도 필요합니다. 사용자의 호출 주기가 5분 이상 벌어지는 저빈도 도구라면 캐시 재사용 혜택은 못 보고 25%의 쓰기 할증만 반복해서 낼 위험이 있습니다. 서비스의 호출 주기를 세밀하게 계산하고 도입해야 실질적인 비용 절감 효과를 볼 수 있습니다.