097.模型压缩总览：剪枝、量化、蒸馏的联合应用策略

上周在部署YOLOv5到边缘计算盒子时，又遇到了老问题：模型跑起来帧率只有8fps，离实时检测的25fps差了一大截。内存占用也飙到了1.2GB，盒子直接告警。这种场景大家应该不陌生——训好的模型精度漂亮，一到实际硬件上就水土不服。今天我们就聊聊怎么把模型“压”进资源受限的环境里，重点不是单个技术，而是剪枝、量化、知识蒸馏这三个家伙怎么搭伙干活。从单打独斗到团队作战早些年做模型压缩，往往是单点突破：要么只做剪枝，砍掉一些冗余权重；要么只做量化，把FP32压成INT8；或者只用蒸馏，让小模型学大模型的行为。但实际工程里，单一手段经常遇到瓶颈。比如你量化一个过参数化的模型，精度掉得厉害；直接剪枝一个没蒸馏过的小模型，恢复起来特别费劲。后来我们发现，这几个技术其实是互补的，联合使用才能打出组合拳。剪枝：先瘦身，再定型剪枝的本质是去掉模型中的冗余部分。常见的做法是按权重绝对值或梯度信息，把不重要的通道或权重置零。但这里有个坑：直接对训练好的模型做剧烈剪枝，模型结构损伤太大，再训练也很难恢复。我们的策略是：先轻度结构化剪枝（比如剪掉20%的通道），接着做微调，然后再进行下一轮。循环迭代两到三轮，模型规模能下去40%左右，精度损失控制在1%以内。这里注意，剪枝后一定要给模型一个恢复期（微调），别指望一刀切完还能直接干活。# 伪代码示例：迭代式剪枝model