Kubernetes GPU Autoscaler Replica Planner
Estimez le nombre de replicas Kubernetes et la capacité GPU nécessaires pour une charge de requêtes mesurée. Il s'agit d'un calcul statique de capacité, pas d'un générateur de configuration HPA ni d'une prédiction du comportement en production.
Résultat
Replicas souhaités
Replicas supplémentaires
Nombre total de GPU nécessaires
GPU supplémentaires
Utilisation avec les replicas souhaités
Comment utiliser cet outil outil
- Saisissez le pic de requêtes par seconde à servir et le débit mesuré d'un replica équipé d'un GPU.
- Définissez l'utilisation cible en dessous du maximum mesuré afin de conserver une marge pour les pics et les variations.
- Indiquez le minimum Kubernetes, les replicas actuellement prêts et le nombre de GPU associés à chaque replica.
- Utilisez les nombres de replicas souhaités et de GPU supplémentaires comme estimations de planification, puis validez-les avec des tests de charge et des vérifications de capacité du cluster.
Hypothèses
- Tous les replicas sont considérés identiques et leur capacité évolue linéairement avec la charge ; les files d'attente, le batching, les variations de modèle, le démarrage, le placement et le partage des GPU ne sont pas modélisés.
- Le débit par replica doit provenir d'un benchmark représentatif du même modèle, de la même précision, du même format de requête et du même matériel.
- Le planificateur applique un minimum de replicas, mais ne modélise ni maximumReplicas, ni le comportement des métriques HPA, ni les politiques de scaling, quotas ou GPU disponibles dans le cluster.
Détails techniques : signification des champs
- Requêtes par seconde au pic
peakRequestsPerSecond - Le débit de pointe que le déploiement doit servir, en requêtes par seconde.
- throughput mesuré par replica
throughputPerReplicaPerSecond - Les requêtes soutenues par seconde mesurées pour un replica avec le GPU cible et la charge cible.
- Utilisation cible
targetUtilizationPercent - Part du throughput mesuré par replica utilisée pour la planification. Une cible plus basse ajoute de la marge.
- Nombre minimal de replicas Kubernetes
minimumReplicas - Le minimum de replicas configuré pour la charge. Le nombre souhaité ne descend pas sous ce seuil.
- Replicas actuellement prêts
readyReplicas - Les replicas déjà prêts à servir cette charge ; cette valeur sert uniquement à estimer combien en ajouter.
- GPU par replica
gpuDevicesPerReplica - Le nombre de GPU demandé par chaque replica dans la configuration de la charge.
Méthodologie
Capacité par replica à l'utilisation cible = throughput mesuré par replica × utilisation cible. Replicas souhaités = max(minimum Kubernetes, ceil(pics de requêtes par seconde ÷ capacité par replica)). Replicas supplémentaires = max(0, souhaités − actuellement prêts). Les totaux GPU sont les nombres de replicas multipliés par les GPU par replica.
Exemple détaillé
Déploiement GPU mesuré avec un pic de 1 200 requêtes/s
Données d’entrée: Requêtes par seconde au pic: 1200 requests/s, throughput mesuré par replica: 90 requests/s, Utilisation cible: 75%, Nombre minimal de replicas Kubernetes: 1 replicas, Replicas actuellement prêts: 10 replicas, GPU par replica: 2 GPUs
Résultat: La capacité par replica à l'utilisation cible est de 67,5 requêtes/s. Nombre souhaité : 18 replicas ; en ajouter 8 (16 GPU). Capacité totale planifiée : 36 GPU.
Conseils pratiques
- Mesurez le débit avec le même modèle, la même précision, la même taille de batch et le même format de requête qu'en production ; les TOPS de pointe ne mesurent pas le débit par replica.
- Utilisez le nombre souhaité pour planifier HPA ou la capacité du cluster, puis validez séparément le délai de scaling et le placement des GPU.
Erreurs fréquentes
- Utiliser les TOPS théoriques du GPU comme débit du replica au lieu d'un benchmark représentatif de bout en bout.
- Fixer l'utilisation cible à 100 % alors que les pics de requêtes, les objectifs de latence ou la variabilité du modèle nécessitent une marge.
Questions fréquentes
Cet outil génère-t-il un manifeste Kubernetes HPA ?
Non. Il estime un nombre de replicas à partir de la charge et des données de benchmark fournies ; il ne configure pas les métriques HPA ni le comportement de scaling.
Pourquoi choisir une utilisation cible inférieure à 100 % ?
Une cible plus basse réserve une partie du débit mesuré pour les pics et les variations. Choisissez-la selon vos exigences de latence et de tests de charge.
Dernière vérification : 2026-10-18
Planificateur pour un régime stable uniquement. Il ne modélise ni la mémoire GPU, ni le batching, les files d'attente, les fenêtres de stabilisation de l'autoscaler, la capacité des nœuds, maxReplicas, les quotas ou les contraintes de scheduling.
Cet outil fournit une estimation indicative fondée sur les hypothèses indiquées ci-dessus.
Les préférences de thème et d’outils, ainsi que les listes enregistrées et récemment utilisées, sont stockées uniquement dans ce navigateur.