Kubernetes GPU Autoscaler Replica Planner

Schätzen Sie die Kubernetes-Replica-Zahl und GPU-Kapazität, die für eine gemessene Anfragelast erforderlich sind. Dies ist eine statische Kapazitätsberechnung, kein Generator für eine HPA-Konfiguration und keine Vorhersage des Produktionsverhaltens.

Spitzenanfragen pro Sekunde (requests/s)Measured throughput per replica (requests/s)Zielauslastung (%)Kubernetes-Mindestzahl an Replicas (replicas)Derzeit bereite Replicas (replicas)GPU-Geräte pro Replica (GPUs)

Ergebnis

Gewünschte Replicas

Zusätzliche Replicas

Benötigte GPU-Geräte insgesamt

Zusätzliche GPU-Geräte

Auslastung bei gewünschter Replica-Zahl

Anleitung Tool

Geben Sie die Spitzenanfragen pro Sekunde und den für eine GPU-gestützte Replica gemessenen Durchsatz ein.
Legen Sie die Zielauslastung unterhalb des gemessenen Maximums fest, um Kapazität für Lastspitzen und Schwankungen einzuplanen.
Geben Sie das Kubernetes-Minimum, die aktuell bereiten Replicas und die GPU-Geräte pro Replica an.
Verwenden Sie die gewünschte Replica-Zahl und die zusätzlichen GPUs als Schätzwert für die Planung; prüfen Sie ihn mit Lasttests und Cluster-Kapazitätsprüfungen.

Annahmen

Alle Replicas gelten als identisch und skalieren linear mit der Anfragelast; Warteschlangen, Batching, Modellvariation, Startzeit, Platzierung und GPU-Aufteilung werden nicht modelliert.
Der Durchsatz pro Replica muss aus einem repräsentativen Benchmark mit demselben Modell, derselben Präzision, Anfragenform und Hardware stammen.
Der Planner berücksichtigt eine Mindestzahl an Replicas, aber weder maximumReplicas noch HPA-Metrikverhalten, Skalierungsrichtlinien, Kontingente oder verfügbare Cluster-GPUs.

Technische Details: Bedeutung der Felder

Spitzenanfragen pro Sekunde peakRequestsPerSecond: Die Spitzenrate an Anfragen, die das Deployment bedienen soll, in Anfragen pro Sekunde.
Measured throughput per replica throughputPerReplicaPerSecond: Der für eine Replica auf der Ziel-GPU und mit dem Ziel-Workload gemessene nachhaltige Durchsatz in Anfragen pro Sekunde.
Zielauslastung targetUtilizationPercent: Der Anteil des gemessenen Replica-Durchsatzes, mit dem geplant wird. Ein niedrigerer Zielwert schafft mehr Reserve.
Kubernetes-Mindestzahl an Replicas minimumReplicas: Die konfigurierte Mindestzahl an Replicas für den Workload. Die gewünschte Zahl unterschreitet diesen Wert nicht.
Derzeit bereite Replicas readyReplicas: Bereits für diesen Workload bereite Replicas; dieser Wert dient nur zur Schätzung, wie viele weitere hinzukommen müssen.
GPU-Geräte pro Replica gpuDevicesPerReplica: Die für jede Replica angeforderten GPU-Geräte, wie für den Workload konfiguriert.

Methodik

Kapazität pro Replica bei Zielauslastung = Measured throughput per replica × Zielauslastung. Gewünschte Replicas = max(Kubernetes-Mindestzahl an Replicas, ceil(Spitzenanfragen pro Sekunde ÷ Kapazität pro Replica)). Zusätzliche Replicas = max(0, gewünschte Zahl − derzeit bereite Zahl). Die GPU-Gesamtzahlen ergeben sich aus der jeweiligen Replica-Zahl multipliziert mit GPU-Geräten pro Replica.

Rechenbeispiel

Gemessener GPU-Deployment bei einer Spitzenlast von 1.200 Anfragen/s

Eingaben: Spitzenanfragen pro Sekunde: 1200 requests/s, Measured throughput per replica: 90 requests/s, Zielauslastung: 75%, Kubernetes-Mindestzahl an Replicas: 1 replicas, Derzeit bereite Replicas: 10 replicas, GPU-Geräte pro Replica: 2 GPUs

Ergebnis: Die Kapazität pro Replica bei Zielauslastung beträgt 67,5 Anfragen/s. Gewünscht: 18 Replicas; 8 Replicas hinzufügen (16 GPU-Geräte). Geplante GPU-Geräte insgesamt: 36.

Praktische Hinweise

Messen Sie den Durchsatz mit demselben Modell, derselben Präzision, Batch-Größe und Anfragenform wie in der Produktion erwartet; Spitzen-TOPS sind kein Durchsatzwert pro Replica.
Verwenden Sie die gewünschte Zahl als Eingabe für HPA- oder Cluster-Kapazitätsplanung und prüfen Sie Skalierungszeit und GPU-Platzierung separat.

Häufige Fehler

Theoretische GPU-TOPS statt eines repräsentativen End-to-End-Benchmarks als Replica-Durchsatz zu verwenden.
Die Zielauslastung auf 100 % zu setzen, obwohl Lastspitzen, Latenzziele oder Modellvariabilität Reserven erfordern.

Häufige Fragen

Erstellt dieses Tool ein Kubernetes-HPA-Manifest?

Nein. Es schätzt eine Replica-Zahl anhand der eingegebenen Last- und Benchmarkdaten; HPA-Metriken oder Skalierungsverhalten werden nicht konfiguriert.

Warum liegt die Zielauslastung unter 100 %?

Ein niedrigerer Zielwert plant gemessene Durchsatzreserve für Lastspitzen und Schwankungen ein. Wählen Sie den Wert anhand Ihrer Latenz- und Lasttestanforderungen.

Zuletzt geprüft: 2026-10-18

Nur ein Planner für Replicas im stationären Zustand. GPU-Speicher, Batching, Warteschlangen, Autoscaler-Stabilisierungsfenster, Node-Kapazität, maxReplicas, Kontingente und Scheduling-Einschränkungen werden nicht modelliert.

Dieses Tool liefert eine unverbindliche Schätzung auf Grundlage der oben genannten Annahmen.

Design- und Tool-Einstellungen sowie gespeicherte und zuletzt verwendete Listen werden nur in diesem Browser gespeichert.