Kubernetes GPU Autoscaler Replica Planner

ピーク時の毎秒リクエスト数 peakRequestsPerSecond

デプロイで処理する必要があるピークの毎秒リクエスト数です。

Measured throughput per replica throughputPerReplicaPerSecond

対象GPUとワークロードでreplica 1つが継続処理できるrequests/sの実測値です。

目標使用率 targetUtilizationPercent

replicaの実測処理量のうち計画に使う割合です。低くすると余裕が増えます。

Kubernetesの最小replica数 minimumReplicas

ワークロードに設定するreplicaの最小数です。必要数はこの値を下回りません。

現在Ready状態のreplica数 readyReplicas

すでに処理可能なreplica数です。追加数の見積もりにのみ使います。

replicaあたりのGPUデバイス数 gpuDevicesPerReplica

ワークロード設定で各replicaが要求するGPUデバイス数です。

目標使用率でのreplicaあたり容量 = 実測処理量 × 目標使用率。必要replica数 = max(Kubernetes最小replica数, ceil(ピークrequests/s ÷ replicaあたり容量))。追加数 = max(0, 必要数 − Ready数)。GPU台数はreplica数にreplicaあたりGPU数を掛けます。

• 本番想定と同じモデル、精度、batch size、リクエスト形状でbenchmarkしてください。ピークTOPSだけではreplica処理量を測れません。
• 必要数をHPAやクラスタ容量の計画に使い、scale-up時間とGPU配置は別途検証してください。

• 代表的なend-to-end benchmarkの代わりに、理論GPU TOPSをreplica処理量として使うこと。
• バースト、latency目標、モデル変動に余裕が必要なのに目標使用率を100%にすること。