LLM Context-Window Token Cost & Latency Sizer

requestあたりのprompt tokens promptTokens

平均requestの全入力tokensです。system prompt、retrieved context、tool descriptionを含めます。

requestあたりの生成tokens outputTokens

requestあたりの平均生成tokensです。

context window contextWindowTokens

選択したdeploymentとconfigurationにおける最大context tokensです。

1日あたりのrequests requestsPerDay

1日に課金される平均requestsです。月間予測は30日で計算します。

入力token 100万個あたりの価格 inputPricePerMillionTokensGbp

providerまたは内部cost modelの入力token価格をGBP/100万tokensで入力します。

出力token 100万個あたりの価格 outputPricePerMillionTokensGbp

生成token価格をGBP/100万tokensで入力します。

実測prefill throughput prefillThroughputTokensPerSecond

modelとdeploymentで実測したprompt prefill throughputです。vendorのpeak値ではありません。

実測decode throughput decodeThroughputTokensPerSecond

見積もるbatchとserving構成でsequenceあたりに実測したdecode throughputです。

Transformer layers modelLayers

KV cache見積もりに使うTransformer layer数です。

KV heads kvHeads

query headsではなくkey/value attention headsの数です。model configurationのKV headsを使います。

head dimension headDimension

各attention headのelement数です。

KV cache elementあたりのbytes bytesPerElement

KV cache elementあたりのstorage bytesです。FP16/BF16なら2 bytesです。

同時実行sequences concurrentSequences

KV cacheをmemoryに保持する必要がある同時active sequences数です。

request費用 = (prompt tokens × 入力価格 + output tokens × 出力価格) ÷ 1,000,000。30日費用 = request費用 × requests/日 × 30。推定直列latency = prompt tokens ÷ 実測prefill tokens/s + output tokens ÷ 実測decode tokens/s。sequenceあたりKV cache bytes = 2 (KとV) × layers × KV heads × head dimension × bytes/element × (prompt tokens + output tokens)。同時実行分はsequences数を掛けます。MiB/GiBは1024の累乗です。

• 正確なmodel configurationを使ってください。KV heads、head dimension、layers、cache data typeはvariantやquantization modeで異なります。
• production容量の見積もり前に、実際のserving batch、caching policy、providerでprefill/decode throughputとtoken価格を測定してください。

• grouped-query attentionでquery headsをKV headsの代わりに使うこと。
• system、retrieval、tool tokensを省き、ユーザーに見えるprompt textだけをcontext windowに数えること。
• KV cache見積もりをmodel VRAM全体とみなすこと。model weightsとruntime overheadは含みません。