LLM Context-Window Token Cost & Latency Sizer
Dimensione uma solicitação LLM em relação à context window, estime o custo dos tokens de entrada e saída e a latência de prefill/decode, além da memória KV cache para sequências simultâneas. Preços e throughput são informados pelo usuário; isto não é uma cotação de provedor nem um benchmark.
Resultado
Status da context window
Custo estimado por solicitação
Custo estimado de tokens em 30 dias
Tempo estimado de prefill + decode
KV cache por sequência
KV cache para sequências simultâneas
Tokens restantes na context window
Tokens acima da context window
Como usar esta ferramenta ferramenta
- Informe a contagem completa de tokens do prompt (incluindo contexto de sistema e ferramentas), os tokens gerados e a context window do modelo.
- Informe os preços de entrada e saída por 1M de tokens, as solicitações por dia e o throughput medido de prefill/decode.
- Para estimar KV cache, informe camadas Transformer, KV heads, dimensão de head, bytes por elemento e sequências simultâneas.
- Confira o encaixe na context window, o gasto estimado com tokens, o tempo serial de prefill mais decode e o tamanho da KV cache; compare com o comportamento medido do serviço.
Premissas
- Os tokens de prompt incluem todo o contexto de entrada, enquanto os tokens de saída são adicionados para verificar o encaixe na context window e o comprimento da KV cache.
- A estimativa da KV cache presume uma cache densa convencional de K/V com os mesmos bytes por elemento em todas as camadas. Não inclui pesos, overhead do allocator/page table, metadados de quantização, compartilhamento de prefixo, camadas de sliding window nem fragmentação.
- A latência é uma soma simples do tempo de prefill e decode serial a partir dos throughputs medidos; não inclui filas, ganhos de batching, rede, overhead de TTFT nem speculative decoding.
- Os preços de tokens são entradas fixas do usuário em GBP por 1M de tokens; não há feed de preços do provedor, impostos, descontos de caching nem tarifas escalonadas.
Detalhes técnicos: o significado dos campos
- Tokens de prompt por solicitação
promptTokens - Todos os tokens de entrada de uma solicitação média, incluindo prompts de sistema, contexto recuperado e descrições de ferramentas.
- Tokens gerados por solicitação
outputTokens - Média de tokens gerados por solicitação.
- Context window
contextWindowTokens - Contexto máximo do modelo, em tokens, para a implantação e configuração selecionadas.
- Solicitações por dia
requestsPerDay - Média de solicitações cobradas por dia; a projeção mensal usa um mês de 30 dias.
- Preço de entrada por 1M de tokens
inputPricePerMillionTokensGbp - Preço dos tokens de entrada em GBP por 1M de tokens. Informe a tarifa do provedor ou do modelo interno de custos.
- Preço de saída por 1M de tokens
outputPricePerMillionTokensGbp - Preço dos tokens gerados em GBP por 1M de tokens.
- Throughput medido de prefill
prefillThroughputTokensPerSecond - Throughput medido de prefill do prompt para o modelo e a implantação, não um valor máximo anunciado pelo fornecedor.
- Throughput medido de decode
decodeThroughputTokensPerSecond - Throughput medido de decode por sequência sob o batch e a configuração de serving dimensionados.
- Camadas Transformer
modelLayers - Contagem de camadas Transformer usada na estimativa da KV cache.
- KV heads
kvHeads - Quantidade de attention heads de key/value, não de query heads. Use a contagem KV heads da configuração do modelo.
- Dimensão de head
headDimension - Dimensão de cada attention head, em elementos.
- Bytes por elemento da KV cache
bytesPerElement - Bytes de armazenamento por elemento da KV cache, por exemplo 2 bytes para FP16/BF16.
- Sequências simultâneas
concurrentSequences - Sequências ativas simultaneamente cujas KV caches precisam caber na memória.
Metodologia
Custo por solicitação = tokens de prompt × preço de entrada + tokens de saída × preço de saída, dividido por 1.000.000. Custo em 30 dias = custo por solicitação × solicitações/dia × 30. Latência serial estimada = tokens de prompt ÷ throughput medido de prefill + tokens de saída ÷ throughput medido de decode. Bytes da KV cache por sequência = 2 (K e V) × camadas × KV heads × dimensão de head × bytes/elemento × (tokens de prompt + tokens de saída); a KV cache total multiplica esse valor pelas sequências simultâneas. MiB/GiB usam potências de 1024.
Exemplo resolvido
Context window de 8.192 tokens, 5.000 solicitações/dia e oito sequências simultâneas
Dados de entrada: Tokens de prompt por solicitação: 4096 tokens, Tokens gerados por solicitação: 1024 tokens, Context window: 8192 tokens, Solicitações por dia: 5000 requests/day, Preço de entrada por 1M de tokens: 2 GBP/1M tokens, Preço de saída por 1M de tokens: 8 GBP/1M tokens, Throughput medido de prefill: 800 tokens/s, Throughput medido de decode: 60 tokens/s, Camadas Transformer: 32 layers, KV heads: 8 heads, Dimensão de head: 128 elements, Bytes por elemento da KV cache: 2, Sequências simultâneas: 8 sequences
Resultado: A solicitação cabe, com 3.072 tokens restantes na context window. O custo estimado é £0,01638 por solicitação ou £2.457,60 por 30 dias; prefill + decode serial leva 22,19 segundos. A KV cache é de 640 MiB por sequência e 5,00 GiB para oito sequências.
Orientações práticas
- Use a configuração exata do modelo: KV heads, dimensão de head, camadas e tipo de dado da cache podem variar entre versões do modelo e modos de quantização.
- Faça benchmark do throughput de prefill/decode e dos preços de tokens para o batch de serving, a política de caching e o provedor reais antes de dimensionar capacidade de produção.
Erros comuns
- Usar query heads em vez de KV heads em grouped-query attention.
- Contar apenas o texto de prompt visível ao usuário e omitir tokens de sistema, recuperação ou ferramentas da context window.
- Tratar a estimativa de KV cache como a VRAM total do modelo; pesos e overhead do runtime estão excluídos.
Perguntas frequentes
Isto prevê a latência do provedor?
Não. Soma as taxas medidas informadas pelo usuário para prefill e decode e não modela filas, batching, rede nem escalonamento do provedor.
A KV cache usa toda a context window?
Esta estimativa usa os tokens de prompt mais os gerados para cada sequência ativa, não o espaço não utilizado da context window.
Última revisão: 2026-10-18
Estimativa baseada em dados do usuário para uma configuração de modelo e uma solicitação média. Não consulta especificações de modelos, preços, limites de provedores nem telemetria de serving em tempo real.
Esta ferramenta fornece uma estimativa indicativa com base nas premissas informadas acima.
As preferências de tema e de ferramentas, além das listas de itens salvos e usados recentemente, são armazenadas somente neste navegador.