On-Device NPU Bottleneck Calculator
Vergleichen Sie den Compute-begrenzten und Memory-begrenzten Durchsatz für einen Inference-Workload auf einem On-Device-NPU. Die niedrigere modellierte Rate ist unter den eingegebenen Annahmen die begrenzende Ressource; dies ist kein Benchmark eines konkreten Geräts.
Ergebnis
Geschätzte begrenzende Ressource
Geschätzter maximaler Durchsatz
Compute-bound throughput
Memory-bound throughput
Zeit pro Inference an der Durchsatzgrenze
Anleitung Tool
- Geben Sie die NPU-Spitzen-TOPS und die für Präzision und Workload des Modells gemessene Compute-Effizienz ein.
- Geben Sie Operationen pro Inference in TOP und die gemessene nachhaltige Speicherbandbreite in GB/s ein.
- Geben Sie den gesamten Speicherverkehr pro Inference in MB und die gemessene Memory-Effizienz ein.
- Vergleichen Sie die Compute- und Memory-begrenzten Raten; die niedrigere Rate ist die einfache Durchsatzgrenze.
Annahmen
- TOPS, Operationen pro Inference und gemessene Effizienzen müssen kompatible Operationstypen und numerische Präzision verwenden (zum Beispiel INT8 gegenüber FP16).
- Der Speicherverkehr wird vom Benutzer geschätzt und sollte Gewichte, Aktivierungen, Cache-Wiederverwendung und Batching angemessen berücksichtigen; aus einer Modelldatei wird er nicht abgeleitet.
- Die Schätzung modelliert einen einzelnen, vereinfachten Engpass im stationären Betrieb. CPU/GPU-Offload, Warteschlangen, Batch-Latenz, thermische Drosselung, Kernel-Start-Overhead und gerätespezifisches Scheduling bleiben unberücksichtigt.
Technische Details: Bedeutung der Felder
- NPU-Spitzenleistung
npuPeakTops - Angegebener oder gemessener NPU-Spitzendurchsatz in TOPS; die Operationspräzision muss zu operationsPerInferenceTops passen.
- Gemessene Compute-Effizienz
computeEfficiencyPercent - Gemessener Anteil des Compute-Spitzendurchsatzes, den dieser Workload erreicht, in Prozent.
- Modelloperationen pro Inference
operationsPerInferenceTops - Für eine Inference benötigte Modelloperationen in TOP (10^12 Operationen).
- Nachhaltige Speicherbandbreite
memoryBandwidthGbPerSecond - Nachhaltige, dem NPU verfügbare Speicherbandbreite in dezimalen GB/s (1 GB = 1.000 MB).
- Gemessene Memory-Effizienz
memoryEfficiencyPercent - Gemessener Anteil der nachhaltigen Speicherbandbreite, den dieser Workload erreicht, in Prozent.
- Speicherverkehr pro Inference
memoryTrafficMbPerInference - Gesamter pro Inference zum/vom Speicher übertragener Modellgewichts- und Aktivierungsverkehr in dezimalen MB; geben Sie nicht die Modell-Dateigröße ein, außer alle diese Bytes werden bei jeder Inference übertragen.
Methodik
Compute-begrenzte Rate = NPU-Spitzen-TOPS × Compute-Effizienz ÷ Modell-TOP pro Inference. Memory-begrenzte Rate = Speicher-GB/s × 1.000 MB/GB × Memory-Effizienz ÷ übertragene MB pro Inference. Geschätzter Durchsatz = niedrigere der beiden Raten; Zeit je Inference an der Grenze = 1.000 ms ÷ dieser Durchsatz.
Rechenbeispiel
Ein NPU mit 45 TOPS und 150 MB Speicherverkehr pro Inference
Eingaben: NPU-Spitzenleistung: 45 TOPS, Gemessene Compute-Effizienz: 60%, Modelloperationen pro Inference: 0.9 TOP, Nachhaltige Speicherbandbreite: 68 GB/s, Gemessene Memory-Effizienz: 70%, Speicherverkehr pro Inference: 150 MB
Ergebnis: Die Compute-begrenzte Rate beträgt 30,0 Inferences/s; die Memory-begrenzte Rate etwa 317,3 Inferences/s. Das einfache Modell ist Compute-begrenzt bei etwa 30,0 Inferences/s (33,3 ms Compute-Zeit pro Inference).
Praktische Hinweise
- Verwenden Sie gemessene nachhaltige Bandbreite und Modellverkehr statt allein der theoretischen NPU-Spitzenleistung; Cache-Wiederverwendung und Tiling können den Verkehr deutlich verändern.
- Prüfen Sie beide Raten mit einem Gerätebenchmark bei der Ziel-Batch-Größe, Präzision, thermischen Situation und Latenzanforderung.
Häufige Fehler
- INT8-NPU-TOPS mit einer FP16-Operationszahl zu vergleichen, ohne sie auf eine kompatible Basis umzurechnen.
- Die Größe der Modelldatei als Speicherverkehr pro Inference zu verwenden, obwohl Gewichte aus dem Cache wiederverwendet werden.
Häufige Fragen
Was bedeutet Compute-begrenzt?
Die modellierte Compute-Rate ist niedriger als die Memory-begrenzte Rate für die eingegebenen Werte. Das beweist nicht, dass das physische Gerät keinen anderen Engpass hat.
Sagt das Ergebnis die reale Latenz voraus?
Nein. Es liefert eine einfache Durchsatzgrenze und eine Schätzung der Compute-Zeit; die reale Latenz hängt von Batching, Kernels, CPU/GPU-Arbeit, Memory-Wiederverwendung, Temperatur und Runtime-Scheduling ab.
Zuletzt geprüft: 2026-10-18
Nur ein arithmetisches Modell mit zwei Ressourcen. Es misst kein Gerät, untersucht keinen Modellgraphen, berücksichtigt kein CPU/GPU-Fallback und sagt weder Tail-Latenz noch Leistungsaufnahme voraus.
Dieses Tool liefert eine unverbindliche Schätzung auf Grundlage der oben genannten Annahmen.
Design- und Tool-Einstellungen sowie gespeicherte und zuletzt verwendete Listen werden nur in diesem Browser gespeichert.