구글, 제미나이 2.5에 '암시적 캐싱' 도입: 수동 설정 없이 API 비용 75% 절감

대규모 언어 모델 API를 호출할 때마다 똑같은 시스템 프롬프트나 참고 문서를 반복해서 보내며 매번 정가를 다 치르는 일은 개발자들에게 늘 부담스러운 비용이었습니다.

Google이 2025년 5월 8일 Gemini API의 Gemini 2.5 모델을 대상으로 암시적 캐싱(implicit caching) 기능을 지원한다고 발표했습니다. 개발자가 캐시를 따로 생성하지 않아도 요청의 앞부분이 이전 요청과 일치하면 자동으로 캐시가 적중되어 75%의 토큰 할인 혜택을 받게 됩니다.

접두사만 같으면 자동으로 75% 할인

Google은 앞서 2024년 5월에 명시적 컨텍스트 캐싱을 처음 선보이며 동일한 75% 할인 혜택을 제공한 바 있습니다. 하지만 당시에는 개발자가 직접 API를 호출해 캐시 객체를 만들고 수명 주기를 관리해야 하는 번거로움이 있었습니다.

이번에 추가된 암시적 캐싱은 이 과정을 완전히 자동화했습니다.

Gemini 2.5 모델로 요청을 보낼 때 해당 요청이 이전 요청들과 동일한 접두사(prefix)를 공유하고 있다면 시스템이 이를 감지해 자동으로 캐시 처리하고 할인된 요금을 적용합니다.

적용 문턱도 크게 낮아졌습니다. 최소 요청 크기 기준이 Gemini 2.5 Flash는 1024 토큰, Gemini 2.5 Pro는 2048 토큰으로 완화되어 상대적으로 짧은 프롬프트도 캐싱 혜택을 누릴 수 있습니다.

활용법도 직관적입니다. 고정된 배경 지식이나 지침을 프롬프트 맨 앞에 배치하고, 매번 바뀌는 사용자 질문을 맨 뒤에 두면 됩니다. 응답 메타데이터의 cached_content_token_count 항목을 통해 몇 개의 토큰이 할인되었는지 바로 확인할 수 있습니다.

할인을 100% 보장받아야 하는 상황이라면 Gemini 2.5와 2.0 모델을 지원하는 기존 명시적 캐싱 API를 계속 사용할 수도 있습니다.

왜 중요한가

AI 에이전트, 사내 문서 검색(RAG), 코드 자동완성을 개발하는 팀에게는 코드 수정 없이 프롬프트 구조만 다듬어도 운영비를 대폭 줄일 수 있는 기회입니다.

업계 관점에서도 이번 변화는 의미가 큽니다. AI 모델의 가격 경쟁이 단순한 기본 토큰 단가 인하를 넘어, 프롬프트 캐싱을 얼마나 쓰기 편하게 만들어 실질 비용을 낮춰주느냐의 싸움으로 번졌기 때문입니다. Anthropic 등 경쟁사들이 캐싱 기능을 강조하는 상황에서 Google이 번거로운 관리 단계를 없앤 것은 확실한 차별점이 됩니다.

우리가 보기에 캐시 생성과 관리를 백엔드에 숨겨 개발자의 인지적 비용을 없앤 접근은 매우 영리합니다. 다만 암시적 캐싱은 내부 알고리즘에 따라 언제든 캐시가 비워질 수 있어 적중률을 온전히 보장받지 못한다는 한계가 있습니다. 비용 변동에 매우 민감한 대규모 서비스라면 여전히 명시적 캐싱을 고려해야 할 것으로 보입니다.