On-Device NPU Bottleneck Calculator
Compare o throughput limitado por computação e por memória para uma carga de inferência em NPU no dispositivo. A menor taxa modelada é o recurso limitante sob as premissas informadas; isto não é um benchmark de um dispositivo específico.
Resultado
Recurso limitante estimado
Throughput máximo estimado
Compute-bound throughput
Memory-bound throughput
Tempo por inferência no limite de throughput
Como usar esta ferramenta ferramenta
- Informe os TOPS de pico do NPU e a eficiência de computação medida para a precisão numérica e a carga do modelo.
- Informe as operações por inferência em TOP e a largura de banda de memória sustentada medida em GB/s.
- Informe o tráfego total de memória por inferência em MB e a eficiência de memória medida.
- Compare as taxas limitadas por computação e memória; a menor é o limite de throughput simplificado.
Premissas
- TOPS, operações por inferência e eficiências medidas devem usar tipos de operação e precisões numéricas compatíveis (por exemplo, INT8 versus FP16).
- O tráfego de memória é estimado pelo usuário e deve considerar pesos, ativações, reutilização de cache e batching conforme aplicável; a ferramenta não o deduz do arquivo do modelo.
- A estimativa modela um único gargalo simplificado em estado estável. Exclui offload para CPU/GPU, filas, latência de batch, throttling térmico, overhead de lançamento de kernel e escalonamento específico do dispositivo.
Detalhes técnicos: o significado dos campos
- Computação de pico do NPU
npuPeakTops - Throughput de pico declarado ou medido do NPU em TOPS; a precisão das operações deve corresponder a operationsPerInferenceTops.
- Eficiência de computação medida
computeEfficiencyPercent - Fração percentual do throughput de computação de pico atingida por esta carga.
- Operações do modelo por inferência
operationsPerInferenceTops - Operações do modelo necessárias para uma inferência, expressas em TOP (10^12 operações).
- Largura de banda sustentada da memória
memoryBandwidthGbPerSecond - Largura de banda sustentada de memória disponível para o NPU em GB/s decimal (1 GB = 1.000 MB).
- Eficiência de memória medida
memoryEfficiencyPercent - Fração percentual da largura de banda sustentada de memória atingida por esta carga.
- Tráfego de memória por inferência
memoryTrafficMbPerInference - Tráfego total de pesos e ativações transferido de/para a memória por inferência, em MB decimal; não informe o tamanho do arquivo do modelo, a menos que todos esses bytes sejam transferidos a cada inferência.
Metodologia
Taxa limitada por computação = TOPS de pico do NPU × eficiência de computação ÷ TOP do modelo por inferência. Taxa limitada por memória = GB/s de memória × 1.000 MB/GB × eficiência de memória ÷ MB transferidos por inferência. Throughput estimado = a menor taxa; tempo limitado por computação = 1.000 ms ÷ esse throughput.
Exemplo resolvido
NPU com 45 TOPS e 150 MB de tráfego de memória por inferência
Dados de entrada: Computação de pico do NPU: 45 TOPS, Eficiência de computação medida: 60%, Operações do modelo por inferência: 0.9 TOP, Largura de banda sustentada da memória: 68 GB/s, Eficiência de memória medida: 70%, Tráfego de memória por inferência: 150 MB
Resultado: A taxa limitada por computação é 30,0 inferências/s; a limitada por memória é aproximadamente 317,3 inferências/s. O modelo simplificado é Compute-bound, em cerca de 30,0 inferências/s (33,3 ms de tempo limitado por computação por inferência).
Orientações práticas
- Use largura de banda sustentada e tráfego do modelo medidos, não apenas o pico teórico do NPU; reutilização de cache e tiling podem alterar bastante o tráfego.
- Valide as duas taxas com benchmark no dispositivo para o batch, precisão, estado térmico e meta de latência de destino.
Erros comuns
- Comparar TOPS INT8 do NPU com uma contagem de operações FP16 sem converter para uma base compatível.
- Usar o tamanho do arquivo de pesos do modelo como tráfego de memória por inferência, mesmo quando os pesos são reutilizados do cache.
Perguntas frequentes
O que significa Compute-bound?
A taxa de computação modelada é menor que a taxa limitada por memória para os valores informados. Isso não prova que o dispositivo físico não tenha outros gargalos.
O resultado prevê a latência real?
Não. Ele fornece um limite simplificado de throughput e uma estimativa de tempo limitado por computação; a latência real depende de batching, kernels, trabalho de CPU/GPU, reutilização de memória, temperatura e escalonamento do runtime.
Última revisão: 2026-10-18
É somente um modelo aritmético de dois recursos. Não mede um dispositivo, inspeciona um grafo de modelo, considera fallback para CPU/GPU nem prevê latência de cauda e consumo de energia.
Esta ferramenta fornece uma estimativa indicativa com base nas premissas informadas acima.
As preferências de tema e de ferramentas, além das listas de itens salvos e usados recentemente, são armazenadas somente neste navegador.