LLM Context-Window Token Cost & Latency Sizer

Dimensionnez une requête LLM par rapport au context window, estimez le coût des tokens d'entrée et de sortie, la latence prefill/decode et la mémoire KV cache des séquences simultanées. Prix et throughput proviennent de l'utilisateur ; il ne s'agit ni d'un devis fournisseur ni d'un benchmark.

Tokens du prompt par requête (tokens)Tokens générés par requête (tokens)Context window (tokens)Requêtes par jour (requests/day)Prix des tokens d'entrée par million (GBP/1M tokens)Prix des tokens de sortie par million (GBP/1M tokens)Throughput prefill mesuré (tokens/s)Throughput decode mesuré (tokens/s)Couches Transformer (layers)KV heads (heads)Dimension des heads (elements)Octets par élément du KV cacheSéquences simultanées (sequences)

Résultat

État du context window

Coût estimé par requête

Coût estimé des tokens sur 30 jours

Temps estimé prefill + decode

KV cache par séquence

KV cache des séquences simultanées

Tokens restants dans le context window

Dépassement du context window

Comment utiliser cet outil outil

Saisissez le nombre complet de tokens du prompt, y compris le contexte système et les outils, les tokens générés et le context window du modèle.
Indiquez les prix des tokens d'entrée et de sortie par million, les requêtes par jour et les throughput prefill/decode mesurés.
Pour le KV cache, indiquez les couches Transformer, les KV heads, la head dimension, les octets par élément et les séquences simultanées.
Examinez la compatibilité avec le context window, le coût estimé, le temps prefill plus decode sériel et la taille du KV cache ; comparez avec les mesures de service.

Hypothèses

Les tokens du prompt incluent tout le contexte d'entrée ; les tokens générés sont ajoutés pour vérifier le context window et la longueur du KV cache.
L'estimation du KV cache suppose un cache K/V dense conventionnel, avec le même nombre d'octets par élément à chaque couche. Elle exclut les poids, le surcoût d'allocateur et de table de pages, les métadonnées de quantification, le partage de préfixes, les couches à fenêtre glissante et la fragmentation.
La latence est une somme simple des temps prefill et decode sériel selon les throughput mesurés ; elle exclut les files d'attente, les gains de batching, le réseau, le surcoût TTFT et le speculative decoding.
Les prix des tokens sont des valeurs GBP fixes fournies par l'utilisateur par million ; aucun flux de prix fournisseur, taxe, remise de cache ou tarif par palier n'est inclus.

Détails techniques : signification des champs

Tokens du prompt par requête promptTokens: Tous les tokens d'entrée d'une requête moyenne, y compris les prompts système, le contexte récupéré et les descriptions d'outils.
Tokens générés par requête outputTokens: Nombre moyen de tokens générés par requête.
Context window contextWindowTokens: Nombre maximal de tokens du context window pour le déploiement et la configuration choisis.
Requêtes par jour requestsPerDay: Nombre moyen de requêtes facturées par jour ; la projection mensuelle utilise 30 jours.
Prix des tokens d'entrée par million inputPricePerMillionTokensGbp: Prix des tokens d'entrée en GBP par million, selon le fournisseur ou votre modèle de coût interne.
Prix des tokens de sortie par million outputPricePerMillionTokensGbp: Prix des tokens générés en GBP par million.
Throughput prefill mesuré prefillThroughputTokensPerSecond: Throughput prefill mesuré pour le modèle et le déploiement, et non une valeur de pointe annoncée par un fournisseur.
Throughput decode mesuré decodeThroughputTokensPerSecond: Throughput decode mesuré par séquence dans le batch et la configuration de service à dimensionner.
Couches Transformer modelLayers: Nombre de couches Transformer utilisé pour estimer le KV cache.
KV heads kvHeads: Nombre de têtes d'attention key/value, et non de query heads. Utilisez le nombre de KV heads de la configuration du modèle.
Dimension des heads headDimension: Dimension de chaque head d'attention en éléments.
Octets par élément du KV cache bytesPerElement: Octets de stockage par élément du KV cache, par exemple 2 octets en FP16/BF16.
Séquences simultanées concurrentSequences: Nombre de séquences actives simultanément dont les KV caches doivent tenir en mémoire.

Méthodologie

Coût par requête = (tokens du prompt × prix d'entrée + tokens générés × prix de sortie) ÷ 1 000 000. Coût sur 30 jours = coût par requête × requêtes/jour × 30. Latence sérielle estimée = tokens du prompt ÷ throughput prefill mesuré + tokens générés ÷ throughput decode mesuré. Octets KV cache par séquence = 2 (K et V) × couches × KV heads × head dimension × octets/élément × (tokens du prompt + tokens générés) ; le total multiplie cette valeur par le nombre de séquences simultanées. MiB/GiB utilisent des puissances de 1024.

Exemple détaillé

Context window de 8 192 tokens, 5 000 requêtes/jour et huit séquences simultanées

Données d’entrée: Tokens du prompt par requête: 4096 tokens, Tokens générés par requête: 1024 tokens, Context window: 8192 tokens, Requêtes par jour: 5000 requests/day, Prix des tokens d'entrée par million: 2 GBP/1M tokens, Prix des tokens de sortie par million: 8 GBP/1M tokens, Throughput prefill mesuré: 800 tokens/s, Throughput decode mesuré: 60 tokens/s, Couches Transformer: 32 layers, KV heads: 8 heads, Dimension des heads: 128 elements, Octets par élément du KV cache: 2, Séquences simultanées: 8 sequences

Résultat: La requête tient dans le context window avec 3 072 tokens restants. Le coût estimé est de £0,01638 par requête, soit £2 457,60 sur 30 jours ; prefill + decode sériel dure 22,19 secondes. Le KV cache est de 640 MiB par séquence et 5,00 GiB pour huit séquences.

Conseils pratiques

Utilisez la configuration exacte du modèle : KV heads, head dimension, couches et type de données du cache peuvent varier selon les variantes et les modes de quantification.
Mesurez le throughput prefill/decode et les prix des tokens pour le batch de service, la politique de cache et le fournisseur réellement utilisés avant de dimensionner la capacité de production.

Erreurs fréquentes

Utiliser les query heads au lieu des KV heads avec grouped-query attention.
Ne compter que le texte du prompt visible par l'utilisateur et omettre les tokens système, de récupération ou d'outils du context window.
Considérer l'estimation KV cache comme la VRAM totale du modèle ; les poids et le surcoût du runtime sont exclus.

Questions fréquentes

Cet outil prédit-il la latence du fournisseur ?

Non. Il additionne les throughput prefill et decode mesurés que vous saisissez et ne modélise ni files d'attente, batching, réseau ni ordonnancement du fournisseur.

Le KV cache utilise-t-il tout le context window ?

L'estimation utilise les tokens du prompt plus les tokens générés pour chaque séquence active, et non la partie inutilisée du context window.

Dernière vérification : 2026-10-18

Estimation à partir des données utilisateur pour une configuration de modèle et une requête moyenne. Elle ne récupère ni spécifications de modèle, prix, limites fournisseur ni télémétrie de service en direct.

Cet outil fournit une estimation indicative fondée sur les hypothèses indiquées ci-dessus.

Les préférences de thème et d’outils, ainsi que les listes enregistrées et récemment utilisées, sont stockées uniquement dans ce navigateur.