LLM Context-Window Token Cost & Latency Sizer
Comprueba si una solicitud LLM cabe en el context window, estima el coste de los tokens de entrada y salida y la latencia prefill/decode, y calcula la memoria KV cache para secuencias concurrentes. Los precios y el throughput son datos que introduces tú; no es una cotización de proveedor ni un benchmark.
Resultado
Estado del context window
Coste estimado por solicitud
Coste estimado de tokens en 30 días
Tiempo estimado de prefill + decode
KV cache por secuencia
KV cache para secuencias concurrentes
Tokens restantes en el context window
Tokens por encima del context window
Cómo usar esta herramienta
- Indica el total de tokens del prompt, incluidos el contexto de sistema y herramientas, los tokens generados y el context window del modelo.
- Introduce precios de entrada y salida por 1 millón de tokens, solicitudes diarias y throughput prefill/decode medido.
- Para KV cache, indica capas Transformer, KV heads, dimensión de head, bytes por elemento y secuencias concurrentes.
- Revisa el ajuste al context window, el gasto estimado, el tiempo serial de prefill más decode y el tamaño de KV cache; compáralos con el comportamiento medido del servicio.
Supuestos
- Los tokens de prompt incluyen todo el contexto de entrada, mientras que los tokens de salida se añaden para comprobar el context window y la longitud de KV cache.
- La estimación de KV cache supone una cache K/V densa convencional con los mismos bytes por elemento en cada capa. Excluye pesos, sobrecarga de allocator/page-table, metadatos de quantization, prefix sharing, capas de sliding-window y fragmentación.
- La latencia es una suma simple del tiempo de prefill y decode serial a partir de los throughputs medidos; excluye colas, mejoras por batching, red, sobrecarga TTFT y speculative decoding.
- Los precios por token son valores fijos en GBP por 1 millón introducidos por el usuario; no se incluyen fuentes de precios de proveedores, impuestos, descuentos de caching ni tarifas escalonadas.
Detalles técnicos: qué significan los campos
- Tokens de prompt por solicitud
promptTokens - Todos los tokens de entrada de una solicitud promedio, incluidos prompts de sistema, contexto recuperado y descripciones de herramientas.
- Tokens generados por solicitud
outputTokens - Promedio de tokens generados por solicitud.
- Context window
contextWindowTokens - Context máximo del modelo, en tokens, para el despliegue y la configuración seleccionados.
- Solicitudes por día
requestsPerDay - Promedio de solicitudes facturadas al día; la proyección mensual usa un mes de 30 días.
- Precio de tokens de entrada por 1 millón (GBP)
inputPricePerMillionTokensGbp - Precio de los tokens de entrada en GBP por 1 millón. Usa la tarifa del proveedor o de tu modelo de costes interno.
- Precio de tokens de salida por 1 millón (GBP)
outputPricePerMillionTokensGbp - Precio de los tokens generados en GBP por 1 millón.
- Throughput prefill medido
prefillThroughputTokensPerSecond - Throughput prefill del prompt medido para el modelo y despliegue, no una cifra máxima anunciada por un proveedor.
- Throughput decode medido
decodeThroughputTokensPerSecond - Throughput decode medido por secuencia para el batch y la configuración de servicio que dimensionas.
- Capas Transformer
modelLayers - Número de capas Transformer usado en la estimación de KV cache.
- KV heads
kvHeads - Número de attention heads de key/value, no de query heads. Usa el recuento de KV heads de la configuración del modelo.
- Dimensión de head
headDimension - Dimensión de cada attention head, en elementos.
- Bytes por elemento de KV cache
bytesPerElement - Bytes de almacenamiento por elemento de KV cache, por ejemplo 2 bytes para FP16/BF16.
- Secuencias concurrentes
concurrentSequences - Secuencias activas simultáneamente cuyas KV caches deben caber en memoria.
Metodología
Coste por solicitud = tokens de prompt × precio de entrada + tokens de salida × precio de salida, dividido entre 1.000.000. Coste de 30 días = coste por solicitud × solicitudes/día × 30. Latencia serial estimada = tokens de prompt ÷ tokens/s de prefill medido + tokens de salida ÷ tokens/s de decode medido. Bytes de KV cache por secuencia = 2 (K y V) × capas × KV heads × dimensión de head × bytes/elemento × (tokens de prompt + tokens de salida); el total de KV cache multiplica este valor por las secuencias concurrentes. MiB/GiB usan potencias de 1024.
Ejemplo resuelto
Context window de 8,192 tokens, 5,000 solicitudes al día y ocho secuencias concurrentes
Datos de entrada: Tokens de prompt por solicitud: 4096 tokens, Tokens generados por solicitud: 1024 tokens, Context window: 8192 tokens, Solicitudes por día: 5000 requests/day, Precio de tokens de entrada por 1 millón (GBP): 2 GBP/1M tokens, Precio de tokens de salida por 1 millón (GBP): 8 GBP/1M tokens, Throughput prefill medido: 800 tokens/s, Throughput decode medido: 60 tokens/s, Capas Transformer: 32 layers, KV heads: 8 heads, Dimensión de head: 128 elements, Bytes por elemento de KV cache: 2, Secuencias concurrentes: 8 sequences
Resultado: La solicitud cabe y quedan 3.072 tokens de context. El coste estimado es £0,01638 por solicitud o £2.457,60 por 30 días; prefill + decode serial tarda 22,19 segundos. KV cache ocupa 640 MiB por secuencia y 5,00 GiB para ocho secuencias.
Orientación práctica
- Usa la configuración exacta del modelo: KV heads, dimensión de head, capas y tipo de datos de cache pueden variar entre modelos y modos de quantization.
- Haz benchmarks de throughput prefill/decode y precios por token para el batch de servicio, la política de caching y el proveedor reales antes de dimensionar capacidad de producción.
Errores comunes
- Usar query heads en lugar de KV heads para grouped-query attention.
- Contar solo el texto del prompt visible para el usuario y omitir tokens de sistema, recuperación o herramientas del context window.
- Tratar la estimación de KV cache como la VRAM total del modelo; excluye los pesos del modelo y la sobrecarga del runtime.
Preguntas frecuentes
¿Predice la latencia del proveedor?
No. Suma las tasas prefill y decode medidas que introduces; no modela colas, batching, red ni planificación del proveedor.
¿KV cache usa todo el context window?
La estimación usa los tokens de prompt más los generados para cada secuencia activa, no el espacio sin usar del context window.
Última revisión: 2026-10-18
Estimación basada en datos del usuario para una configuración de modelo y una solicitud promedio. No consulta especificaciones de modelos, precios, límites de proveedores ni telemetría del servicio en vivo.
Esta herramienta ofrece una estimación orientativa basada en los supuestos indicados arriba.
Las preferencias de tema y de herramientas, junto con las listas de herramientas guardadas y recientes, se almacenan solo en este navegador.