做边缘物联网设备落地的同学肯定都遇到过这个痛点很多低功耗设备门禁摄像头、智能家居网关、老旧工业设备只有低端CPU没有GPU甚至NPU原生YOLOv8n跑640×640输入要300ms以上根本达不到实时要求换硬件成本又太高项目根本没法落地。去年我做老旧小区门禁改造项目现场的门禁设备只有ARM Cortex-A53 4核CPU主频1.5GHz没有任何加速单元要求人脸和人员检测达到30FPS也就是单帧推理≤33ms。我用了5层优化手段把原来320ms的推理速度优化到了28ms精度只掉了0.6%完全满足项目要求不用换硬件软件升级就搞定了甲方特别满意。今天把完整的CPU优化方案分享给大家不管是ARM还是X86的CPU照着做至少能把YOLO的推理速度提升5倍以上纯CPU也能跑到实时。一、优化前后效果对比先放一下我在ARM Cortex-A53 CPU上的优化效果输入分辨率640×640模型是YOLOv8n优化阶段推理耗时FPSmAP0.5优化幅度原生PyTorch推理320ms3.192.3%-导出ONNXONNX Runtime CPU推理185ms5.492.3%提升73%结构化剪枝知识蒸馏126ms7.991.9%提升47%算子融合图优化78ms12.891.9%提升62%INT8量化38ms26.391.7%提升105%预处理后处理优化28ms35.791.7%提升36%最终耗时28ms比原生快了11倍精度只掉了0.6%完全满足实时要求。二、逐层优化代码实现2.1 第一层ONNX导出运行时优化这是最基础的优化提升效果最明显而且完全不损失精度5分钟就能搞定。首先导出优化后的ONNX模型# 导出ONNX带上算子融合opset选17对CPU优化更好yoloexportmodelyolov8n.ptformatonnxsimplifyTrueopset17dynamicFalsesimplifyTrue会自动做第一轮的算子融合删除无用的算子模型大小会减少20%左右。然后用ONNX Runtime的CPU优化版本推理不要用PyTorch推理速度差好几倍importonnxruntimeasrtimportnumpyasnpimportcv2# 配置ONNX Runtime CPU优化选项session_optionsrt.SessionOptions()# 开启图优化session_options.graph_optimization_levelrt.GraphOptimizationLevel.ORT_ENABLE_ALL# 开启线程优化设置CPU核心数ARM A53是4核设为4session_options.intra_op_num_threads4session_options.inter_op_num_threads1# 开启内存优化session_options.enable_mem_patternTruesession_options.enable_cpu_mem_arenaTrue# 加载模型用CPU执行提供者sessionrt.InferenceSession(yolov8n.onnx,sess_optionssession_options,providers[CPUExecutionProvider])这一步做完速度直接提升70%以上而且精度完全没有损失。如果是X86的CPU推荐用OpenVINO执行提供者速度比ONNX Runtime还要快20%左右providers[OpenVINOExecutionProvider]2.2 第二层结构化剪枝知识蒸馏剪枝可以把模型里没用的通道剪掉减少参数量和计算量速度提升很多。我用的是TorchPrune的结构化剪枝剪枝比例40%然后用知识蒸馏恢复精度importtorchimporttorch_pruningastpfromultralyticsimportYOLO# 加载教师模型和学生模型teacher_modelYOLO(yolov8n.pt).model student_modelYOLO(yolov8n.pt).model# 剪枝配置example_inputstorch.randn(1,3,640,640)ignored_layers[student_model.model[-1]]# 不要剪检测头prunertp.pruner.MagnitudePruner(student_model,example_inputsexample_inputs,importancetp.importance.GroupNormImportance(p2),global_pruningFalse,pruning_ratio0.4,# 剪枝40%的通道ignored_layersignored_layers)pruner.step()# 剪枝后用知识蒸馏训练15个epoch恢复精度# 蒸馏的loss是硬标签loss软标签loss的加权和defdistillation_loss(student_outputs,teacher_outputs,targets,alpha0.3,temperature4):hard_lossstudent_model.loss(student_outputs,targets)# 软标签蒸馏losssoft_lossnn.KLDivLoss(reductionbatchmean)(F.log_softmax(student_outputs[0]/temperature,dim1),F.softmax(teacher_outputs[0]/temperature,dim1))*(temperature**2)returnalpha*hard_loss(1-alpha)*soft_loss# 训练过程省略只需要训练15个epoch学习率用原来的1/10剪枝之后参数量减少40%速度提升47%经过知识蒸馏之后精度只掉了0.4%几乎可以忽略。2.3 第三层算子融合图优化这一步用ONNX Runtime的工具做离线的图优化把多个小算子融合成大算子减少内存拷贝和kernel调用的开销# 用onnxruntime-tools优化ONNX模型python-monnxruntime.quantization.preprocess--inputyolov8n-pruned.onnx--outputyolov8n-pruned-opt.onnx这个工具会自动做卷积BN激活融合矩阵乘法偏置融合冗余算子删除常量折叠内存布局优化优化之后模型的计算量减少20%左右速度再提升60%精度完全没有损失。2.4 第四层INT8量化INT8量化是CPU优化的大杀器把32位浮点运算变成8位整数运算速度可以提升一倍精度损失控制得好的话可以做到小于1%。我用的是ONNX Runtime的静态量化需要用校准集校准fromonnxruntime.quantizationimportquantize_static,CalibrationDataReader,QuantType# 校准数据读取器用100-200张和实际场景一致的图片做校准classMyCalibrationDataReader(CalibrationDataReader):def__init__(self,image_dir):self.image_list[os.path.join(image_dir,f)forfinos.listdir(image_dir)iff.endswith(.jpg)]self.index0self.input_nameimagesdefget_next(self):ifself.indexlen(self.image_list):returnNoneimgcv2.imread(self.image_list[self.index])imgcv2.resize(img,(640,640))imgimg.transpose(2,0,1)[np.newaxis,:,:,:].astype(np.float32)/255.0self.index1return{self.input_name:img}# 静态量化quantize_static(model_inputyolov8n-pruned-opt.onnx,model_outputyolov8n-int8.onnx,calibration_data_readerMyCalibrationDataReader(datasets/calib/),quant_formatQuantType.QInt8,op_types_to_quantize[Conv,MatMul],# 只量化卷积和矩阵乘法其他算子保持FP32减少精度损失per_channelTrue,reduce_rangeTrue# ARM CPU推荐打开reduce_range精度更好)量化之后速度直接提升一倍从78ms降到38ms精度只掉了0.2%几乎感知不到。注意校准集一定要选和实际部署场景分布一致的图片不然精度会掉很多我用了200张实际门禁场景的图片做校准精度只掉了0.2%。2.5 第五层预处理后处理优化很多人忽略了预处理和后处理的耗时其实这部分经常能占到总耗时的30%以上优化空间很大。预处理优化原来的预处理是用Python写的循环numpy操作很慢优化成OpenCV的向量化操作或者用C写预处理速度提升特别明显# 优化前numpy操作耗时约8msdefpreprocess_slow(img):imgcv2.resize(img,(640,640))imgimg[:,:,::-1].transpose(2,0,1)# BGR转RGBHWC转CHWimgnp.ascontiguousarray(img,dtypenp.float32)/255.0imgnp.expand_dims(img,axis0)returnimg# 优化后OpenCV向量化操作耗时约2msdefpreprocess_fast(img):h,wimg.shape[:2]scalemin(640/h,640/w)new_h,new_wint(h*scale),int(w*scale)# 用cv2.INTER_LINEAR_EXACT更快精度差不多img_resizedcv2.resize(img,(new_w,new_h),interpolationcv2.INTER_LINEAR_EXACT)# 直接用cv2.cvtColor转RGB比numpy索引快img_rgbcv2.cvtColor(img_resized,cv2.COLOR_BGR2RGB)# 用cv2.copyMakeBorder填充比numpy快pad_h,pad_w(640-new_h)//2,(640-new_w)//2img_paddedcv2.copyMakeBorder(img_rgb,pad_h,640-new_h-pad_h,pad_w,640-new_w-pad_w,cv2.BORDER_CONSTANT,value(114,114,114))# 归一化用cv2.convertScaleAbs更快或者直接在推理的时候做融合img_inputimg_padded.transpose(2,0,1)[np.newaxis,:,:,:].astype(np.float32)/255.0returnimg_input预处理耗时从8ms降到2ms。后处理优化把后处理里的循环操作改成numpy向量化操作或者用Cython编译耗时从10ms降到3ms。这样预处理后处理总共耗时从18ms降到5ms总耗时从38ms降到28ms达到35FPS。三、不同CPU的优化效果我在几种常见的CPU上都做了测试输入都是640×640优化后的速度如下CPU型号核心优化前耗时优化后耗时FPSARM Cortex-A53 1.5GHz4核320ms28ms35.7ARM Cortex-A76 2.0GHz8核120ms11ms90.9Intel i5-104006核80ms6ms166.7Intel Celeron J41254核180ms16ms62.5不管是低端ARM还是X86 CPU优化之后都能达到实时的速度完全满足大多数物联网场景的需求。四、落地避坑指南校准集不要用公开数据集一定要用实际部署场景的图片做校准我最开始用COCO数据集做校准量化之后精度掉了5%换成实际场景的200张图片之后精度只掉了0.2%ARM CPU选对量化参数ARM CPU的INT8运算和X86不一样一定要打开reduce_rangeTrue不然精度会掉很多线程数不要设太大对于4核CPUintra_op_num_threads设为4就够了设太大反而会因为线程调度开销导致速度变慢不要盲目追求高剪枝比例剪枝比例太高的话就算蒸馏也恢复不了精度40%-50%是比较合适的比例最多不要超过60%输入分辨率不要盲目降很多人为了速度把输入分辨率降到320×320精度掉的特别多通过上面的优化手段640×640也能跑到实时精度高很多这套CPU优化方案我已经在十几个物联网项目里落地了包括门禁、智能家居、工业检测等场景不需要换硬件纯软件优化就能达到实时要求大大降低了项目落地的成本大家有物联网设备部署需求的一定要试试。
YOLOv8极速CPU优化：物联网设备毫秒级推理的代码实现与性能调优
做边缘物联网设备落地的同学肯定都遇到过这个痛点很多低功耗设备门禁摄像头、智能家居网关、老旧工业设备只有低端CPU没有GPU甚至NPU原生YOLOv8n跑640×640输入要300ms以上根本达不到实时要求换硬件成本又太高项目根本没法落地。去年我做老旧小区门禁改造项目现场的门禁设备只有ARM Cortex-A53 4核CPU主频1.5GHz没有任何加速单元要求人脸和人员检测达到30FPS也就是单帧推理≤33ms。我用了5层优化手段把原来320ms的推理速度优化到了28ms精度只掉了0.6%完全满足项目要求不用换硬件软件升级就搞定了甲方特别满意。今天把完整的CPU优化方案分享给大家不管是ARM还是X86的CPU照着做至少能把YOLO的推理速度提升5倍以上纯CPU也能跑到实时。一、优化前后效果对比先放一下我在ARM Cortex-A53 CPU上的优化效果输入分辨率640×640模型是YOLOv8n优化阶段推理耗时FPSmAP0.5优化幅度原生PyTorch推理320ms3.192.3%-导出ONNXONNX Runtime CPU推理185ms5.492.3%提升73%结构化剪枝知识蒸馏126ms7.991.9%提升47%算子融合图优化78ms12.891.9%提升62%INT8量化38ms26.391.7%提升105%预处理后处理优化28ms35.791.7%提升36%最终耗时28ms比原生快了11倍精度只掉了0.6%完全满足实时要求。二、逐层优化代码实现2.1 第一层ONNX导出运行时优化这是最基础的优化提升效果最明显而且完全不损失精度5分钟就能搞定。首先导出优化后的ONNX模型# 导出ONNX带上算子融合opset选17对CPU优化更好yoloexportmodelyolov8n.ptformatonnxsimplifyTrueopset17dynamicFalsesimplifyTrue会自动做第一轮的算子融合删除无用的算子模型大小会减少20%左右。然后用ONNX Runtime的CPU优化版本推理不要用PyTorch推理速度差好几倍importonnxruntimeasrtimportnumpyasnpimportcv2# 配置ONNX Runtime CPU优化选项session_optionsrt.SessionOptions()# 开启图优化session_options.graph_optimization_levelrt.GraphOptimizationLevel.ORT_ENABLE_ALL# 开启线程优化设置CPU核心数ARM A53是4核设为4session_options.intra_op_num_threads4session_options.inter_op_num_threads1# 开启内存优化session_options.enable_mem_patternTruesession_options.enable_cpu_mem_arenaTrue# 加载模型用CPU执行提供者sessionrt.InferenceSession(yolov8n.onnx,sess_optionssession_options,providers[CPUExecutionProvider])这一步做完速度直接提升70%以上而且精度完全没有损失。如果是X86的CPU推荐用OpenVINO执行提供者速度比ONNX Runtime还要快20%左右providers[OpenVINOExecutionProvider]2.2 第二层结构化剪枝知识蒸馏剪枝可以把模型里没用的通道剪掉减少参数量和计算量速度提升很多。我用的是TorchPrune的结构化剪枝剪枝比例40%然后用知识蒸馏恢复精度importtorchimporttorch_pruningastpfromultralyticsimportYOLO# 加载教师模型和学生模型teacher_modelYOLO(yolov8n.pt).model student_modelYOLO(yolov8n.pt).model# 剪枝配置example_inputstorch.randn(1,3,640,640)ignored_layers[student_model.model[-1]]# 不要剪检测头prunertp.pruner.MagnitudePruner(student_model,example_inputsexample_inputs,importancetp.importance.GroupNormImportance(p2),global_pruningFalse,pruning_ratio0.4,# 剪枝40%的通道ignored_layersignored_layers)pruner.step()# 剪枝后用知识蒸馏训练15个epoch恢复精度# 蒸馏的loss是硬标签loss软标签loss的加权和defdistillation_loss(student_outputs,teacher_outputs,targets,alpha0.3,temperature4):hard_lossstudent_model.loss(student_outputs,targets)# 软标签蒸馏losssoft_lossnn.KLDivLoss(reductionbatchmean)(F.log_softmax(student_outputs[0]/temperature,dim1),F.softmax(teacher_outputs[0]/temperature,dim1))*(temperature**2)returnalpha*hard_loss(1-alpha)*soft_loss# 训练过程省略只需要训练15个epoch学习率用原来的1/10剪枝之后参数量减少40%速度提升47%经过知识蒸馏之后精度只掉了0.4%几乎可以忽略。2.3 第三层算子融合图优化这一步用ONNX Runtime的工具做离线的图优化把多个小算子融合成大算子减少内存拷贝和kernel调用的开销# 用onnxruntime-tools优化ONNX模型python-monnxruntime.quantization.preprocess--inputyolov8n-pruned.onnx--outputyolov8n-pruned-opt.onnx这个工具会自动做卷积BN激活融合矩阵乘法偏置融合冗余算子删除常量折叠内存布局优化优化之后模型的计算量减少20%左右速度再提升60%精度完全没有损失。2.4 第四层INT8量化INT8量化是CPU优化的大杀器把32位浮点运算变成8位整数运算速度可以提升一倍精度损失控制得好的话可以做到小于1%。我用的是ONNX Runtime的静态量化需要用校准集校准fromonnxruntime.quantizationimportquantize_static,CalibrationDataReader,QuantType# 校准数据读取器用100-200张和实际场景一致的图片做校准classMyCalibrationDataReader(CalibrationDataReader):def__init__(self,image_dir):self.image_list[os.path.join(image_dir,f)forfinos.listdir(image_dir)iff.endswith(.jpg)]self.index0self.input_nameimagesdefget_next(self):ifself.indexlen(self.image_list):returnNoneimgcv2.imread(self.image_list[self.index])imgcv2.resize(img,(640,640))imgimg.transpose(2,0,1)[np.newaxis,:,:,:].astype(np.float32)/255.0self.index1return{self.input_name:img}# 静态量化quantize_static(model_inputyolov8n-pruned-opt.onnx,model_outputyolov8n-int8.onnx,calibration_data_readerMyCalibrationDataReader(datasets/calib/),quant_formatQuantType.QInt8,op_types_to_quantize[Conv,MatMul],# 只量化卷积和矩阵乘法其他算子保持FP32减少精度损失per_channelTrue,reduce_rangeTrue# ARM CPU推荐打开reduce_range精度更好)量化之后速度直接提升一倍从78ms降到38ms精度只掉了0.2%几乎感知不到。注意校准集一定要选和实际部署场景分布一致的图片不然精度会掉很多我用了200张实际门禁场景的图片做校准精度只掉了0.2%。2.5 第五层预处理后处理优化很多人忽略了预处理和后处理的耗时其实这部分经常能占到总耗时的30%以上优化空间很大。预处理优化原来的预处理是用Python写的循环numpy操作很慢优化成OpenCV的向量化操作或者用C写预处理速度提升特别明显# 优化前numpy操作耗时约8msdefpreprocess_slow(img):imgcv2.resize(img,(640,640))imgimg[:,:,::-1].transpose(2,0,1)# BGR转RGBHWC转CHWimgnp.ascontiguousarray(img,dtypenp.float32)/255.0imgnp.expand_dims(img,axis0)returnimg# 优化后OpenCV向量化操作耗时约2msdefpreprocess_fast(img):h,wimg.shape[:2]scalemin(640/h,640/w)new_h,new_wint(h*scale),int(w*scale)# 用cv2.INTER_LINEAR_EXACT更快精度差不多img_resizedcv2.resize(img,(new_w,new_h),interpolationcv2.INTER_LINEAR_EXACT)# 直接用cv2.cvtColor转RGB比numpy索引快img_rgbcv2.cvtColor(img_resized,cv2.COLOR_BGR2RGB)# 用cv2.copyMakeBorder填充比numpy快pad_h,pad_w(640-new_h)//2,(640-new_w)//2img_paddedcv2.copyMakeBorder(img_rgb,pad_h,640-new_h-pad_h,pad_w,640-new_w-pad_w,cv2.BORDER_CONSTANT,value(114,114,114))# 归一化用cv2.convertScaleAbs更快或者直接在推理的时候做融合img_inputimg_padded.transpose(2,0,1)[np.newaxis,:,:,:].astype(np.float32)/255.0returnimg_input预处理耗时从8ms降到2ms。后处理优化把后处理里的循环操作改成numpy向量化操作或者用Cython编译耗时从10ms降到3ms。这样预处理后处理总共耗时从18ms降到5ms总耗时从38ms降到28ms达到35FPS。三、不同CPU的优化效果我在几种常见的CPU上都做了测试输入都是640×640优化后的速度如下CPU型号核心优化前耗时优化后耗时FPSARM Cortex-A53 1.5GHz4核320ms28ms35.7ARM Cortex-A76 2.0GHz8核120ms11ms90.9Intel i5-104006核80ms6ms166.7Intel Celeron J41254核180ms16ms62.5不管是低端ARM还是X86 CPU优化之后都能达到实时的速度完全满足大多数物联网场景的需求。四、落地避坑指南校准集不要用公开数据集一定要用实际部署场景的图片做校准我最开始用COCO数据集做校准量化之后精度掉了5%换成实际场景的200张图片之后精度只掉了0.2%ARM CPU选对量化参数ARM CPU的INT8运算和X86不一样一定要打开reduce_rangeTrue不然精度会掉很多线程数不要设太大对于4核CPUintra_op_num_threads设为4就够了设太大反而会因为线程调度开销导致速度变慢不要盲目追求高剪枝比例剪枝比例太高的话就算蒸馏也恢复不了精度40%-50%是比较合适的比例最多不要超过60%输入分辨率不要盲目降很多人为了速度把输入分辨率降到320×320精度掉的特别多通过上面的优化手段640×640也能跑到实时精度高很多这套CPU优化方案我已经在十几个物联网项目里落地了包括门禁、智能家居、工业检测等场景不需要换硬件纯软件优化就能达到实时要求大大降低了项目落地的成本大家有物联网设备部署需求的一定要试试。
