同じプロンプトの送り直しが速くなりました

qwen3.8-27b-uncensored の推論基盤でプレフィックスキャッシュを有効にしました。同じ内容で始まるプロンプトを続けて送ると、2 回目以降は先頭の共通部分を処理し直しません。モデル ID・エンドポイント・単価は変わりません。リクエスト側の変更も不要です。

長いシステムプロンプトや会話履歴を毎回送り直す使い方では、これまで毎回その全量を処理していました。プロンプトが長いほど応答開始までが遅くなり、同じ内容を送っても速くなりませんでした。

2 回目以降は 19.05 秒 → 0.91 秒

約 28,500 トークンのプロンプトを 3 回続けて送ったときの自社実測です。時間はリクエスト送信から応答完了までで、cached_tokens はレスポンスの usage.prompt_tokens_details.cached_tokens の値です。

短くなったのはプロンプトの処理時間です。生成が始まったあとのスループット（トークン/秒）は変わりません。短いプロンプトでは元の処理時間が小さいので、短縮幅もこれより小さくなります。

先頭から一致する範囲だけが対象です。

プロンプトの途中を書き換えると、その位置から先は作り直しになります。先頭に現在時刻やリクエスト ID を入れていると、以降が毎回すべて作り直しになります。可変の情報は末尾に寄せてください。

同一プロンプトでもヒットしないことがあります。HAI 側でヒットを制御していません。

毎回必ず速くなる機能ではありません。ヒットしなかった場合も、これまでと同じ時間で処理します。

qwen3.8-27b-uncensored にキャッシュ読取単価は設定していません。キャッシュから供給された分も通常の入力単価（1M tok あたり ¥70・税込表示）で課金します。値引きも値上げもありません。

/api/usage とコンソールの明細に記録している cache_read_tokens には、今回の変更で数字が入るようになります。これは記録用の値で、課金額には影響しません。キャッシュ読取単価を設定しているモデルは料金ページに掲載しています。

単価とモデル一覧は料金ページ、モデル ID とセットアップ手順はドキュメントに掲載しています。