AnthropicがClaudeにプロンプトキャッシュ導入、コスト最大90%削減

大規模言語モデルでアプリを開発していると、毎回の会話で同じマニュアルやコードベースを丸ごと再送信しなければならず、リクエストのたびにトークン代がかさむのが大きな悩みでした。

Anthropic は、自社の Claude API に「Prompt Caching（プロンプトキャッシング）」を導入しました。頻繁に使うコンテキストを API 呼び出し間でキャッシュし、長いプロンプトにかかるコストを最大 90%、レイテンシを最大 85% 削減します。

本 1 冊分のコンテキストでも、初回応答が 11.5 秒から 2.4 秒へ

長文を扱うタスクでの効果は劇的です。10 万トークンの書籍データをプロンプトに入れた問い合わせでは、最初のトークンが返ってくるまでの時間が 11.5 秒から 2.4 秒へとおよそ 79% 短縮され、コストは 90% 削減されました。

長いシステムプロンプトを含む 10往復の対話でも、初回応答の遅延が約 10 秒から約 2.5 秒へと大幅に縮まり、コストは 53% 浮きます。Notion はすでに Notion AI にこの仕組みを組み込んでおり、応答速度の向上と運用コストの最適化を同時に進めています。

使い方は、API リクエストに cache_control パラメータを付与するだけです。会話履歴を自動でキャッシュしていくモードと、特定のブロックに最大 4 箇所までブレークポイントを打つ手動指定の両方に対応しています。

料金体系は、書き込み時に 25% 上乗せされ、読み出し時は 90% 引きになる仕組みです。Claude 3.5 Sonnet の場合、基本の入力単価は 100 万トークンあたり 3 ドルですが、初回のキャッシュ書き込みは 3.75 ドルかかります。ただし 2 回目以降のヒット時は 0.3 ドルにまで下がります。

キャッシュの有効期限はデフォルトで 5 分間で、利用されるたびにリセットされます。1 時間のオプションも用意されています。注意点として、キャッシュの有効時間はリクエスト開始時点からカウントされるため、ストリーミング回答に時間がかかると、次回アクセスまでに残された再利用の猶予時間は短くなります。

なぜ重要か

私たちは、このプロンプトキャッシングが開発者の経済的なハードルを一気に引き下げる極めて実利的な進化だと考えています。

開発者や自作ツールを作るユーザーにとって、これまでマルチターンのエージェントや大量のコード読み込みは、トークン代が跳ね上がる最大の要因でした。キャッシュヒット時の単価が 1 割に落ちるなら、100 個の Few-shot 事例を惜しみなくプロンプトに埋め込んだり、毎回のツール呼び出しでフルコンテキストを維持したりする設計が現実的なコストで運用できるようになります。

業界全体にとっても、競争の軸が「コンテキスト長の見かけの数字」から「実際に長文を安く速く処理できるか」へとシフトしたことを示しています。モデルの基本価格を形式上値下げしなくても、実質的な請求額を 1 桁減らすアプローチは、ライバル各社に強いプレッシャーを与えるはずです。

ただし、リクエスト頻度がまばらなツールでは落とし穴もあります。5 分の間に次のアクセスが来なければ、25% 割高な書き込みコストを払い続けるだけになりかねません。自分のプロダクトのアクセス間隔を見極めた上で導入を設計する必要があります。