OpenAI、GPT-6向けプロンプトキャッシュを強化　最大90%割引や診断ツールを提供

長時間のタスクをこなす自律型AIエージェントを作っている開発者なら、マルチターンのAPIコストに頭を抱えた経験があるはずです。コードベース全体のリファクタリングや長大なリサーチ資料の作成では、システム指示やツール定義、これまでの会話履歴が毎リクエストで繰り返し送信され、課金メーターとレイテンシを押し上げ続けていました。

OpenAIは9月22日、GPT-6ファミリー向けに改善されたPrompt Caching（プロンプトキャッシュ）の提供を開始しました。デフォルトのキャッシュヒット率が引き上げられたほか、30分以内の再利用可能な共有プレフィックスに対して、キャッシュされた入力トークンが最大90%割引されます。GitHub Copilotの報告によると、このシステムを導入したことで新規トークンの処理量が50%削減されたとのことです。

キャッシュ失敗の原因を突き止める新ツール

これまで、プロンプトキャッシュが効いているかどうかはブラックボックスになりがちで、いつの間にかキャッシュが破棄されて想定外の請求が発生するケースが少なくありませんでした。

OpenAIは今回、可視化のためのツールを2つ導入しました。新設のPrompt Caching Dashboardでは、入力トークンのうち何割がキャッシュから処理されたかを時系列で追跡でき、キャッシュと非キャッシュのトークン内訳を比較してヒット率の低下を素早く検知できます。

もう一つは診断ツールです。予期せぬキャッシュミスが発生した場合、リクエストと直前のレスポンスを比較して、モデル設定やツール定義の変更など、再利用を阻害した要因と影響を受けたトークン数をピンポイントで特定してくれます。

思考レベルを変えてもキャッシュは壊さない

今回のアップデートでは、キャッシュの維持と運用の柔軟性を両立する仕組みも組み込まれました。

GPT-6では、キャッシュを壊すことなくリクエスト間で推論の深さ（reasoning effort）を調整できるようになりました。configuration_updateを追加することで、難しい課題では思考プロセスを強化し、日常的な応答では思考コストを下げる運用が、共有コンテキストを保ったまま行えます。

また、明示的なキャッシュブレークポイントの設定や、ユーザーが最初の質問を入力する前に共有指示や参照資料を読み込ませておくキャッシュ事前加温（Prewarming）も利用可能です。ツール利用を変更する際は、定義を削除するのではなくallowed_toolsやtool_choiceを使って切り替え、指示の追加には末尾のdeveloper messageを用いることでプレフィックスの再利用性を維持できます。

なぜ重要か

私たちは、このアップデートがLLMの利用形態を「単発の問い合わせ」から「持続稼働する業務インフラ」へと本格的に引き上げるものだと考えています。

何時間も継続して動くエージェントやコーディング支援ツールを開発しているチームにとって、価値は極めて明確です。90%の割引率と30分の保持ウィンドウ、そして新規トークン半減という実績は、ヘビーなエージェントの運用コストを劇的に引き下げます。長大なコンテキストを使い回している開発者なら、今すぐプロンプト構成を見直して対応する価値があります。

賢いのは、単なる価格競争にとどまらず、キャッシュが壊れやすいという現場の最大の悩みに手を打った点です。ブレークポイントや診断ツールを用意し、推論強度を変えても前置キャッシュを維持できるようにしたことで、エンジニアは手探りではなく計算可能なインフラとしてエージェントを構築できるようになりました。

業界全体で見れば、モデルの競争軸が「単発の賢さ」から「エージェントをいかに安く長時間回せるか」というシステム工学へシフトしていることを示しています。競合他社も同様のきめ細かなキャッシュ制御と可視化ツールを提供できなければ、本格的なエンタープライズエージェントのワークロードを維持するのが難しくなりそうです。