LLM Context-Window Token Cost & Latency Sizer
Dimensionieren Sie eine LLM-Anfrage im Verhältnis zum context window, schätzen Sie Input-/Output-token-Kosten und prefill-/decode-Latenz und ermitteln Sie den KV cache-Speicherbedarf für gleichzeitige sequences. Preise und throughput stammen von Ihnen; dies ist weder ein Anbieterangebot noch ein Benchmark.
Ergebnis
Context window-Status
Geschätzte Kosten je Anfrage
Geschätzte token-Kosten für 30 Tage
Geschätzte prefill- plus decode-Zeit
KV cache je sequence
KV cache für gleichzeitige sequences
Verbleibende context token
Token oberhalb des context window
Anleitung Tool
- Geben Sie die vollständige Zahl der Prompt-token (einschließlich System- und Tool-Kontext), generierte token und das context window des Modells ein.
- Geben Sie Input-/Output-Preise je 1 Mio. token, Anfragen pro Tag und gemessenen prefill-/decode-throughput ein.
- Für den KV cache geben Sie Transformer-Layer, KV heads, head dimension, Bytes je Element und gleichzeitige sequences an.
- Prüfen Sie context window-Fit, geschätzte token-Kosten, serielle prefill-plus-decode-Zeit und KV cache-Größe; vergleichen Sie mit gemessenem Serving-Verhalten.
Annahmen
- Prompt-token enthalten den gesamten Input-Kontext; Output-token werden für die Prüfung des context window und der KV cache-Länge hinzugerechnet.
- Die KV cache-Schätzung nimmt einen konventionellen dichten K/V-cache mit denselben Bytes je Element in jedem Layer an. Gewichte, Allocator-/Page-Table-Overhead, Quantisierungsmetadaten, Prefix-Sharing, Sliding-Window-Layer und Fragmentierung sind ausgeschlossen.
- Die Latenz ist eine einfache Summe aus prefill- und serieller decode-Zeit auf Basis gemessener throughputs; Warteschlangen, Batch-Gewinne, Netzwerkzeit, TTFT-Overhead und speculative decoding sind ausgeschlossen.
- Token-Preise sind feste Benutzereingaben in GBP je 1 Mio. token; es gibt keinen Anbieterpreis-Feed und Steuern, Caching-Rabatte sowie gestaffelte Sätze werden nicht berücksichtigt.
Technische Details: Bedeutung der Felder
- Prompt-token pro Anfrage
promptTokens - Alle Input-token einer durchschnittlichen Anfrage, einschließlich System-Prompts, abgerufenem Kontext und Tool-Beschreibungen.
- Generierte token pro Anfrage
outputTokens - Durchschnittlich generierte token je Anfrage.
- Context window
contextWindowTokens - Maximaler Modellkontext in token für das gewählte Deployment und die Konfiguration.
- Anfragen pro Tag
requestsPerDay - Durchschnittlich pro Tag abgerechnete Anfragen; die Monatsprojektion verwendet 30 Tage.
- Input-Preis je 1 Mio. token
inputPricePerMillionTokensGbp - Ihr Input-token-Preis in GBP je 1 Mio. token. Verwenden Sie den Satz des Anbieters oder Ihres internen Kostenmodells.
- Output-Preis je 1 Mio. token
outputPricePerMillionTokensGbp - Ihr Preis für generierte token in GBP je 1 Mio. token.
- Gemessener prefill throughput
prefillThroughputTokensPerSecond - Gemessener Prompt-prefill-throughput für Modell und Deployment, nicht ein beworbener Spitzenwert.
- Gemessener decode throughput
decodeThroughputTokensPerSecond - Gemessener decode-throughput je sequence bei dem zu dimensionierenden Batch- und Serving-Setup.
- Transformer-Layer
modelLayers - Anzahl der Transformer-Layer für die KV cache-Schätzung.
- KV heads
kvHeads - Zahl der Key/Value-Attention-Heads, nicht der Query-Heads. Verwenden Sie die KV-head-Zahl der Modellkonfiguration.
- Head dimension
headDimension - Dimension jedes Attention-Head in Elementen.
- KV cache-Bytes je Element
bytesPerElement - Speicher-Bytes je KV cache-Element, etwa 2 Bytes für FP16/BF16.
- Gleichzeitige sequences
concurrentSequences - Gleichzeitig aktive sequences, deren KV cache in den Speicher passen muss.
Methodik
Anfragekosten = Prompt-token × Input-Preis + Output-token × Output-Preis, geteilt durch 1.000.000. 30-Tage-Kosten = Anfragekosten × Anfragen/Tag × 30. Geschätzte serielle Latenz = Prompt-token ÷ gemessener prefill-token/s + Output-token ÷ gemessener decode-token/s. KV cache-Bytes je sequence = 2 (K und V) × Layer × KV heads × head dimension × Bytes/Element × (Prompt-token + Output-token); der Gesamt-KV-cache multipliziert dies mit den gleichzeitigen sequences. MiB/GiB verwenden Zweierpotenzen (1024).
Rechenbeispiel
Context window mit 8.192 token, 5.000 Anfragen/Tag und acht gleichzeitige sequences
Eingaben: Prompt-token pro Anfrage: 4096 tokens, Generierte token pro Anfrage: 1024 tokens, Context window: 8192 tokens, Anfragen pro Tag: 5000 requests/day, Input-Preis je 1 Mio. token: 2 GBP/1M tokens, Output-Preis je 1 Mio. token: 8 GBP/1M tokens, Gemessener prefill throughput: 800 tokens/s, Gemessener decode throughput: 60 tokens/s, Transformer-Layer: 32 layers, KV heads: 8 heads, Head dimension: 128 elements, KV cache-Bytes je Element: 2, Gleichzeitige sequences: 8 sequences
Ergebnis: Die Anfrage passt mit 3.072 verbleibenden context token. Geschätzte Kosten: £0,01638 je Anfrage oder £2.457,60 je 30 Tage; serielle prefill- plus decode-Zeit: 22,19 Sekunden. Der KV cache beträgt 640 MiB je sequence und 5,00 GiB für acht sequences.
Praktische Hinweise
- Verwenden Sie die exakte Modellkonfiguration: KV heads, head dimension, Layer und Cache-Datentyp können sich zwischen Modellvarianten und Quantisierungsmodi unterscheiden.
- Benchmarken Sie prefill-/decode-throughput und token-Preise für den tatsächlichen Serving-Batch, die Caching-Richtlinie und den Anbieter, bevor Sie Produktionskapazität dimensionieren.
Häufige Fehler
- Bei Grouped-Query Attention Query-Heads statt KV heads zu verwenden.
- Nur sichtbaren Prompt-Text zu zählen und System-, Retrieval- oder Tool-token im context window auszulassen.
- Die KV cache-Schätzung mit dem gesamten Modell-VRAM gleichzusetzen; Modellgewichte und Runtime-Overhead sind ausgeschlossen.
Häufige Fragen
Sagt das Tool die Anbieter-Latenz voraus?
Nein. Es summiert von Ihnen eingegebene gemessene prefill- und decode-Raten und modelliert weder Warteschlangen, Batching, Netzwerk noch Anbieter-Scheduling.
Verwendet der KV cache das gesamte context window?
Diese Schätzung verwendet Prompt- plus generierte token je aktiver sequence, nicht den ungenutzten Rest des context window.
Zuletzt geprüft: 2026-10-18
Eine benutzereingabebasierte Schätzung für eine Modellkonfiguration und durchschnittliche Anfrage. Modellspezifikationen, Preise, Anbieterlimits oder Live-Serving-Telemetrie werden nicht abgerufen.
Dieses Tool liefert eine unverbindliche Schätzung auf Grundlage der oben genannten Annahmen.
Design- und Tool-Einstellungen sowie gespeicherte und zuletzt verwendete Listen werden nur in diesem Browser gespeichert.