Kubernetes GPU Autoscaler Replica Planner

根据实测请求负载，估算 Kubernetes 所需的 replica 数量和 GPU 容量。这是静态容量计算，不会生成 HPA 配置，也不会预测生产环境行为。

峰值每秒请求数 (requests/s)Measured throughput per replica (requests/s)目标利用率 (%)Kubernetes 最小 replica 数 (replicas)当前就绪的 replica 数 (replicas)每个 replica 的 GPU 设备数 (GPUs)

结果

目标 replica 数

需增加的 replica 数

所需 GPU 设备总数

需增加的 GPU 设备数

目标 replica 数下的利用率

使用方法工具

输入要承载的峰值每秒请求数，以及一个 GPU 后端 replica 的实测吞吐量。
将目标利用率设在实测上限以下，为突发和波动留出余量。
输入 Kubernetes 最小 replica 数、当前就绪数，以及每个 replica 配置的 GPU 设备数。
将目标 replica 数和需增加的 GPU 数作为规划估算，再通过负载测试和集群容量检查验证。

假设条件

假设所有 replica 相同，且容量随请求负载线性扩展；不模拟排队、批处理、模型差异、启动时间、放置或 GPU 共享。
每个 replica 的吞吐量应来自与目标模型、精度、请求形态和硬件相符的代表性基准测试。
规划器应用最小 replica 数下限，但不模拟 maximumReplicas、HPA 指标行为、扩缩策略、配额或集群可用 GPU。

技术细节：字段含义

峰值每秒请求数 peakRequestsPerSecond: 部署必须承载的峰值请求速率，单位为请求/秒。
Measured throughput per replica throughputPerReplicaPerSecond: 在目标 GPU 和工作负载上测得的单个 replica 持续请求吞吐量。
目标利用率 targetUtilizationPercent: 规划时使用的单个 replica 实测吞吐量比例。目标越低，预留余量越多。
Kubernetes 最小 replica 数 minimumReplicas: 为工作负载配置的最小 replica 数下限；目标数不会低于该值。
当前就绪的 replica 数 readyReplicas: 当前已就绪、可服务该工作负载的 replica 数，仅用于估算还需增加多少。
每个 replica 的 GPU 设备数 gpuDevicesPerReplica: 该工作负载为每个 replica 请求配置的 GPU 设备数。

方法说明

目标利用率下的单个 replica 容量 = Measured throughput per replica × 目标利用率。目标 replica 数 = max(Kubernetes 最小 replica 数, ceil(峰值请求数/秒 ÷ 单个 replica 容量))。需增加数 = max(0, 目标数 − 当前就绪数)。GPU 总数按 replica 数乘以每个 replica 的 GPU 设备数。

计算示例

峰值为 1,200 请求/秒的实测 GPU 部署

输入项: 峰值每秒请求数: 1200 requests/s, Measured throughput per replica: 90 requests/s, 目标利用率: 75%, Kubernetes 最小 replica 数: 1 replicas, 当前就绪的 replica 数: 10 replicas, 每个 replica 的 GPU 设备数: 2 GPUs

结果: 目标利用率下每个 replica 的容量为 67.5 请求/秒。目标为 18 个 replica；需增加 8 个 replica（16 个 GPU 设备）。规划的 GPU 设备总数为 36。

实用指南

使用与生产预期相同的模型、精度、批大小和请求形态测量吞吐量；峰值 TOPS 不能替代Measured throughput per replica。
将目标数量作为 HPA 或集群容量规划的输入，再单独验证扩容耗时和 GPU 放置。

常见错误

把理论 GPU TOPS 当作 replica 吞吐量，而不是使用有代表性的端到端基准测试。
请求突发、延迟目标或模型波动需要余量时，仍把目标利用率设为 100%。

常见问题

它会生成 Kubernetes HPA 清单吗？

不会。它根据用户提供的负载和基准数据估算 replica 数，不配置 HPA 指标或扩缩行为。

为什么目标利用率低于 100%？

较低的目标会为突发和波动预留实测吞吐量。应根据自身延迟目标和负载测试要求选择目标。

上次审核： 2026-10-18

这只是稳态 replica 规划器，不模拟 GPU 显存、批处理、排队、autoscaler 稳定窗口、节点容量、maxReplicas、配额或调度限制。

此工具根据上述假设提供参考估算值。

主题和工具偏好设置，以及已保存和最近使用的列表仅存储在此浏览器中。