Kubernetes GPU Autoscaler Replica Planner
Estima el número de replicas de Kubernetes y la capacidad GPU necesaria para una carga de solicitudes medida. Es un cálculo estático de capacidad, no genera una configuración HPA ni predice el comportamiento en producción.
Resultado
Replicas deseadas
Replicas adicionales
Dispositivos GPU totales necesarios
Dispositivos GPU adicionales
Utilización con las replicas deseadas
Cómo usar esta herramienta
- Indica las solicitudes máximas por segundo que quieres atender y el rendimiento medido de una replica con GPU.
- Fija la utilización objetivo por debajo del máximo medido para reservar capacidad ante picos y variaciones.
- Indica el mínimo de Kubernetes, las replicas listas actualmente y los dispositivos GPU asociados a cada replica.
- Usa las replicas deseadas y los dispositivos GPU adicionales como estimación de planificación; valida los valores con pruebas de carga y comprobaciones de capacidad del clúster.
Supuestos
- Se considera que todas las replicas son idénticas y escalan linealmente con la carga; no se modelan colas, batching, variaciones del modelo, arranque, ubicación ni compartición de GPU.
- El rendimiento por replica debe proceder de una prueba representativa con el mismo modelo, precisión, forma de solicitudes y hardware.
- El planificador aplica un mínimo de replicas, pero no modela maximumReplicas, el comportamiento de métricas HPA, políticas de escalado, cuotas ni las GPU disponibles en el clúster.
Detalles técnicos: qué significan los campos
- Solicitudes máximas por segundo
peakRequestsPerSecond - La tasa máxima de solicitudes que debe atender el despliegue, en solicitudes por segundo.
- throughput medido por replica
throughputPerReplicaPerSecond - Solicitudes por segundo sostenidas, medidas para una replica con la GPU y la carga de trabajo objetivo.
- Utilización objetivo
targetUtilizationPercent - Fracción del throughput medido por replica que se usa para planificar. Un objetivo menor añade margen.
- Mínimo de replicas de Kubernetes
minimumReplicas - El mínimo de replicas configurado para la carga. El resultado no bajará de este valor.
- Replicas listas actualmente
readyReplicas - Replicas que ya están listas para atender esta carga; solo se usa para estimar cuántas más añadir.
- Dispositivos GPU por replica
gpuDevicesPerReplica - Dispositivos GPU solicitados por cada replica según la configuración de la carga.
Metodología
Capacidad por replica al nivel de utilización objetivo = throughput medido por replica × utilización objetivo. Replicas deseadas = max(mínimo de replicas de Kubernetes, ceil(solicitudes máximas por segundo ÷ capacidad por replica)). Replicas adicionales = max(0, deseadas − listas actualmente). Los totales GPU multiplican las replicas por los dispositivos GPU por replica.
Ejemplo resuelto
Despliegue GPU medido con un pico de 1.200 solicitudes/s
Datos de entrada: Solicitudes máximas por segundo: 1200 requests/s, throughput medido por replica: 90 requests/s, Utilización objetivo: 75%, Mínimo de replicas de Kubernetes: 1 replicas, Replicas listas actualmente: 10 replicas, Dispositivos GPU por replica: 2 GPUs
Resultado: La capacidad por replica al nivel objetivo es 67,5 solicitudes/s. Se necesitan 18 replicas; hay que añadir 8 (16 dispositivos GPU). La capacidad total planificada es de 36 dispositivos GPU.
Orientación práctica
- Mide el rendimiento con el mismo modelo, precisión, tamaño de lote y forma de solicitudes que se esperan en producción; los TOPS máximos no representan el rendimiento por replica.
- Usa el resultado para planificar HPA o capacidad del clúster y valida por separado el tiempo de escalado y la ubicación de GPU.
Errores comunes
- Usar los TOPS teóricos de la GPU como rendimiento por replica en lugar de una prueba representativa de extremo a extremo.
- Fijar la utilización objetivo en 100 % cuando los picos, los objetivos de latencia o la variabilidad del modelo requieren margen.
Preguntas frecuentes
¿Genera un manifiesto HPA de Kubernetes?
No. Estima replicas a partir de la carga y los datos de benchmark que proporcionas; no configura métricas HPA ni el comportamiento de escalado.
¿Por qué la utilización objetivo es inferior al 100 %?
Un objetivo menor reserva parte del rendimiento medido para picos y variaciones. Elige el nivel según tus requisitos de latencia y pruebas de carga.
Última revisión: 2026-10-18
Es solo un planificador de replicas en estado estable. No modela memoria GPU, batching, colas, ventanas de estabilización del autoscaler, capacidad de nodos, maxReplicas, cuotas ni restricciones de planificación.
Esta herramienta ofrece una estimación orientativa basada en los supuestos indicados arriba.
Las preferencias de tema y de herramientas, junto con las listas de herramientas guardadas y recientes, se almacenan solo en este navegador.