OpenAI, GPT-6 프롬프트 캐싱 업그레이드…최대 90% 할인 및 진단 툴 도입

장시간 돌아가는 AI 에이전트를 개발해 본 사람이라면 누구나 겪는 골칫거리가 있습니다. 에이전트가 코드베이스를 리팩터링하거나 방대한 자료를 조사하기 위해 몇 시간씩 작업할 때, 매 요청마다 똑같은 시스템 프롬프트, 도구 정의, 이전 대화 기록을 끊임없이 API로 전송해야 합니다. 이로 인해 비용은 치솟고 지연 시간도 계속 늘어납니다.

OpenAI가 9월 22일, GPT-6 모델군을 위한 개선된 프롬프트 캐싱(Prompt Caching) 시스템을 발표했습니다. 기본 캐시 히트율을 끌어올리고, 30분 이내에 재사용되는 적격 공유 접두사(prefix)에 대해 캐시된 입력 토큰 비용을 최대 90%까지 할인해 주는 것이 핵심입니다. GitHub Copilot에 따르면 이 시스템을 도입한 뒤 신규 토큰 처리량이 50% 줄어들었습니다.

왜 캐시가 깨졌는지 보여주는 대시보드와 진단 도구

그동안 프롬프트 캐싱 최적화는 엔지니어들에게 일종의 암흑 상자였습니다. 매개변수 하나가 어긋나 캐시가 풀려버려도, 어느 글자 때문에 전체 토큰 요금이 그대로 청구됐는지 확인하기 어려웠습니다.

OpenAI는 이 문제를 풀기 위해 두 가지 도구를 새로 선보였습니다. 먼저 Prompt Caching Dashboard를 통해 애플리케이션 입력 중 얼마가 캐시에서 처리되었는지 시간대별로 추적하고, 캐시 토큰과 비캐시 토큰의 비중을 차트로 대조해 볼 수 있습니다.

예기치 못한 캐시 미스가 발생했을 때는 프롬프트 캐싱 진단 도구를 쓰면 됩니다. 최근 응답과 요청을 비교해 모델이나 도구 스키마, 설정값 중 무엇이 변경되어 캐시 재사용을 방해했는지, 그리고 그로 인해 영향을 받은 토큰 수가 얼마인지 명확히 짚어줍니다.

추론 강도를 바꿔도 캐시는 그대로 유지

에이전트가 여러 단계의 작업을 이어갈 때 캐시를 유지할 수 있도록 돕는 세부 제어 기능도 대거 추가되었습니다.

GPT-6에서는 캐시를 깨뜨리지 않고도 응답 간에 추론 강도(reasoning effort)를 동적으로 조절할 수 있습니다. configuration_update를 덧붙여 난이도 높은 작업에는 추론 강도를 높이고 단순 질의에는 낮추는 식이며, 이 과정에서도 이전 컨텍스트는 그대로 재사용됩니다.

또한 명시적 캐시 중단점(Explicit cache breakpoints)과 캐시 사전 예열(Prewarming) 기능도 지원합니다. 사용자가 첫 질문을 입력하기 전 시스템 구동 시점에 지침이나 참고 자료를 미리 캐시에 올려두면 대기 시간을 줄일 수 있습니다. 도구 사용이 바뀔 때는 정의 자체를 지우지 말고 allowed_tools나 tool_choice를 사용하고, 새로운 지침은 컨텍스트 끝에 developer message로 덧붙여야 접두사 캐시가 보존됩니다.

왜 중요한가

우리는 이번 조치가 대형 언어 모델 활용이 단순 API 호출 단계를 지나 정교한 시스템 엔지니어링 단계로 접어들었음을 보여준다고 봅니다.

지속형 자율 에이전트나 코딩 도구를 개발하는 팀에게 이 기능의 가치는 아주 명확합니다. 긴 흐름의 에이전트 비용은 반복되는 컨텍스트 입력에서 발생하는데, 90% 할인과 30분 캐시 윈도우, 여기에 신규 토큰 50% 절감 실적까지 감안하면 운영 비용을 절반 가까이 덜어낼 수 있습니다. 긴 대화 맥락을 다루는 서비스라면 지금 당장 프롬프트 구조를 점검하고 적용해 볼 만합니다.

특히 영리한 점은 가격 할인에만 그치지 않고 개발자들의 가장 큰 불만이었던 캐시 취약성을 제어 도구로 해결했다는 사실입니다. 매개변수 순서만 바뀌어도 캐시가 깨지던 불안을 없애기 위해 진단 로그와 사전 예열, 추론 강도 분리 기능을 제공함으로써 엔지니어가 비용과 성능을 예측 가능한 수준으로 통제할 수 있게 만들었습니다.

업계 전반으로 보면 경쟁의 판도가 단일 응답 성능에서 에이전트를 얼마나 경제적이고 안정적으로 장시간 구동하느냐로 옮겨가고 있습니다. 경쟁사들 역시 이 수준의 세밀한 캐싱 제어와 관측 도구를 갖추지 못한다면, 복잡한 실무 에이전트 워크로드를 흡수하기가 점점 더 버거워질 것으로 보입니다.