Kubernetes GPU Autoscaler Replica Planner
Estime a quantidade de replicas Kubernetes e a capacidade GPU necessária para uma carga medida de solicitações. Este cálculo estático de capacidade não gera uma configuração HPA nem prevê o comportamento em produção.
Resultado
Replicas desejadas
Replicas adicionais
Total de dispositivos GPU necessários
Dispositivos GPU adicionais
Utilização com as replicas desejadas
Como usar esta ferramenta ferramenta
- Informe o pico de solicitações por segundo que deseja atender e o throughput medido para uma replica com GPU.
- Defina a utilização-alvo abaixo do máximo medido para reservar capacidade para picos e variações.
- Informe o mínimo configurado no Kubernetes, as replicas prontas no momento e os dispositivos GPU ligados a cada replica.
- Use as quantidades estimadas de replicas e GPUs como referência de planejamento; valide-as com testes de carga e verificações de capacidade do cluster.
Premissas
- Todas as replicas são consideradas idênticas e escalam linearmente com a carga; filas, batching, variação do modelo, inicialização, posicionamento e compartilhamento de GPU não são modelados.
- O throughput por replica deve vir de um benchmark representativo do mesmo modelo, precisão, formato de solicitação e hardware.
- O planejador aplica um mínimo de replicas, mas não modela maximumReplicas, comportamento de métricas do HPA, políticas de escala, quotas nem GPUs disponíveis no cluster.
Detalhes técnicos: o significado dos campos
- Pico de solicitações por segundo
peakRequestsPerSecond - Taxa máxima de solicitações que a implantação precisa atender, em solicitações por segundo.
- Throughput medido por replica
throughputPerReplicaPerSecond - Solicitações sustentadas por segundo medidas para uma replica no GPU e na carga de trabalho de destino.
- Utilização-alvo
targetUtilizationPercent - Fração do throughput medido da replica usada no planejamento. Um valor menor acrescenta margem de capacidade.
- Mínimo de replicas do Kubernetes
minimumReplicas - Piso mínimo de replicas configurado para a carga. A quantidade desejada nunca fica abaixo desse valor.
- Replicas prontas no momento
readyReplicas - Replicas já prontas para atender à carga; usado apenas para estimar quantas adicionar.
- Dispositivos GPU por replica
gpuDevicesPerReplica - Dispositivos GPU solicitados por cada replica, conforme a configuração da carga.
Metodologia
Capacidade por replica na utilização-alvo = throughput medido por replica × utilização-alvo. Replicas desejadas = max(mínimo de replicas do Kubernetes, ceil(pico de solicitações por segundo ÷ capacidade por replica)). Replicas adicionais = max(0, desejadas − prontas). Os totais de GPU multiplicam as quantidades de replicas pelos dispositivos GPU por replica.
Exemplo resolvido
Implantação GPU medida sob pico de 1.200 solicitações/s
Dados de entrada: Pico de solicitações por segundo: 1200 requests/s, Throughput medido por replica: 90 requests/s, Utilização-alvo: 75%, Mínimo de replicas do Kubernetes: 1 replicas, Replicas prontas no momento: 10 replicas, Dispositivos GPU por replica: 2 GPUs
Resultado: A capacidade por replica na utilização-alvo é 67,5 solicitações/s. Desejadas: 18 replicas; adicionar 8 replicas (16 dispositivos GPU). Capacidade GPU planejada total: 36 dispositivos.
Orientações práticas
- Faça benchmark com o mesmo modelo, precisão, tamanho de batch e formato de solicitação esperados em produção; TOPS teóricos não medem o throughput por replica.
- Use a quantidade desejada como entrada para planejar HPA ou capacidade do cluster e valide separadamente o tempo de scale-up e o posicionamento das GPUs.
Erros comuns
- Usar TOPS teóricos da GPU como throughput da replica em vez de um benchmark representativo de ponta a ponta.
- Definir utilização-alvo em 100% quando picos de solicitações, metas de latência ou variação do modelo exigem margem.
Perguntas frequentes
Esta ferramenta gera um manifesto HPA do Kubernetes?
Não. Ela estima replicas com base na carga e nos dados de benchmark informados; não configura métricas nem comportamento de escala do HPA.
Por que a utilização-alvo fica abaixo de 100%?
Um valor menor reserva parte do throughput medido para picos e variações. Escolha a meta com base nas suas exigências de latência e testes de carga.
Última revisão: 2026-10-18
É somente um planejador de replicas em estado estável. Não modela memória GPU, batching, filas, janelas de estabilização do autoscaler, capacidade de nós, maxReplicas, quotas nem restrições do scheduler.
Esta ferramenta fornece uma estimativa indicativa com base nas premissas informadas acima.
As preferências de tema e de ferramentas, além das listas de itens salvos e usados recentemente, são armazenadas somente neste navegador.