NPU的延迟分析：从输入到输出的完整流水线去年做智能门锁项目时遇到一个诡异现象：人脸识别偶尔会卡顿200ms，但大部分时候都在50ms以内。用示波器抓NPU的IRQ引脚，发现从DMA传输完成到中断触发之间，存在一个不固定的“黑洞期”。这个坑让我花了整整两周去拆解NPU的流水线延迟——今天就把这些血泪经验写下来。流水线的五个“隐形关卡”NPU的延迟不是简单的“输入→计算→输出”三段式。实际拆解下来，至少包含五个独立阶段，每个阶段都可能成为瓶颈。第一阶段：数据搬运的“首公里”延迟别被DMA的“零拷贝”宣传骗了。当CPU通过AXI总线向NPU的SRAM写数据时，总线仲裁会引入不可预测的等待。我在Zynq平台上实测过：如果CPU同时在做DDR刷新，NPU的写请求会被阻塞最多12个时钟周期。更坑的是，某些NPU的输入缓冲区只有单端口，CPU写数据和NPU读数据会冲突——这时候硬件会自动插入等待周期，但驱动层完全感知不到。第二阶段：张量重塑的“隐形开销”很多NPU要求输入数据按NHWC格式排列，但摄像头输出的通常是HWC。你写的那个memcpy重排函数，在CPU上跑只要5μs，但NPU内部的重排单元可能更慢。某次调试发现，一个224x224的RGB图像，仅仅因为格式转换，就在NPU内部多耗了800个时钟周期——相当于一次小卷积的计算量。后来改成在DMA传输时做格式转换，才把这块延迟抹平。第三阶段：计算单元的“启动时间”NPU不是上电就能立刻全速计算的。以脉动阵列为例，第一
047、NPU的延迟分析：从输入到输出的完整流水线
NPU的延迟分析：从输入到输出的完整流水线去年做智能门锁项目时遇到一个诡异现象：人脸识别偶尔会卡顿200ms，但大部分时候都在50ms以内。用示波器抓NPU的IRQ引脚，发现从DMA传输完成到中断触发之间，存在一个不固定的“黑洞期”。这个坑让我花了整整两周去拆解NPU的流水线延迟——今天就把这些血泪经验写下来。流水线的五个“隐形关卡”NPU的延迟不是简单的“输入→计算→输出”三段式。实际拆解下来，至少包含五个独立阶段，每个阶段都可能成为瓶颈。第一阶段：数据搬运的“首公里”延迟别被DMA的“零拷贝”宣传骗了。当CPU通过AXI总线向NPU的SRAM写数据时，总线仲裁会引入不可预测的等待。我在Zynq平台上实测过：如果CPU同时在做DDR刷新，NPU的写请求会被阻塞最多12个时钟周期。更坑的是，某些NPU的输入缓冲区只有单端口，CPU写数据和NPU读数据会冲突——这时候硬件会自动插入等待周期，但驱动层完全感知不到。第二阶段：张量重塑的“隐形开销”很多NPU要求输入数据按NHWC格式排列，但摄像头输出的通常是HWC。你写的那个memcpy重排函数，在CPU上跑只要5μs，但NPU内部的重排单元可能更慢。某次调试发现，一个224x224的RGB图像，仅仅因为格式转换，就在NPU内部多耗了800个时钟周期——相当于一次小卷积的计算量。后来改成在DMA传输时做格式转换，才把这块延迟抹平。第三阶段：计算单元的“启动时间”NPU不是上电就能立刻全速计算的。以脉动阵列为例，第一
