応答開始までの待ち時間を短縮しました

推論リクエストの振り分け（ルーティング）を見直しました。モデル ID・エンドポイント・単価は変わりません。リクエスト側の変更も不要です。

「応答が返り始めるまでが長い」というご意見をいただいていました。原因は推論そのものの速度ではありません。リクエストが特定のノードに偏って積み上がり、順番待ちが伸びていました。

応答開始まで p50 23 秒 → 3 秒

qwen3.8-27b-uncensored に約 10 万トークンのコンテキストを渡したときの自社実測です。応答開始まで（TTFT）はリクエストを送ってから最初のトークンが返るまでの時間で、順番待ちとプロンプトの処理時間を含みます。

短くなったのは待ち時間です。生成が始まったあとのスループット（トークン/秒）は変わりません。短いプロンプトでは元の待ち時間が小さいので、短縮幅もこれより小さくなります。

これまでは、リクエストを決まった順序でノードへ渡していました。先頭のノードが止まっていれば次へ回ります。ただし、動いていて混んでいるだけなら回りません。空いているノードがあるのに、先頭のノードの前で順番を待つ。これが待ち時間の正体でした。

現在は、処理中のリクエスト数が最も少ないノードへ渡します。リクエストが同時に集中しても空いている側へ流れるため、待ち行列が一箇所に伸びません。

単価とモデル一覧は料金ページ、モデル ID とセットアップ手順はドキュメントに掲載しています。