轻量化与实时性——别拿嵌入式工程师不当人

上一回咱们聊了 backbone 的演变史从 FCN 到 Transformer听起来挺波澜壮阔的。但今天我得泼盆冷水——你以为世界上所有的显卡都是 V100 和 A100 吗太天真了。你要是去自动驾驶公司的感知组看看或者去那些做智慧工厂、智慧农业的现场瞅一眼跑模型的设备可能就是个算力不到 10 TOPS 的嵌入式开发板温度一高还得降频。这时候你再跟他们提什么 Swin Transformer 大模型什么多级联的复杂解码器人家看你的眼神就像看一个刚从象牙塔里出来的书呆子。在工业界实时性就是生命线。自动驾驶的车跑在高速上你分割一个 frame 花了 300 毫秒等你出结果车都撞护栏上了。所以咱们今天得正经聊聊怎么让分割模型“瘦成一道闪电”还得跑得快。轻量化的路子粗分有三条。第一条轻量级 backbone。MobileNet 系列、ShuffleNet 系列是绕不开的。MobileNetV2 那个倒残差结构当年刚出来的时候我还挺不屑觉得 depthwise convolution 这玩意儿省参数是省参数但梯度回传容易出问题。后来真香了配合 DeepLabV3 在 Cityscapes 上居然能跑到 70 多的 mIoU帧率还能稳住 30 FPS 以上。ShuffleNet 更狠直接用 channel shuffle 来弥补分组卷积的信息流通不畅这操作有点像在高速公路上强行开几个口子让车流换道脑回路清奇但确实管用。第二条模型剪枝与量化。这活儿就有点“玄学”成分了。剪枝分结构化剪枝和非结构化剪枝。非结构化的就是那些稀疏矩阵看着压缩比高实际推理引擎不支持加速效果等于零纯属自欺欺人。结构化的比如通道剪枝直接把整个卷积核干掉这才能真实降低 FLOPs。但问题来了——剪哪儿按 L1 范数剪最小的通道这方法糙得很有时候最小的通道反而是捕捉纹理细节的关键。所以现在学术界折腾什么可微分剪枝、彩票假说玩得挺花但工程落地我劝你还是老老实实用 Intel OpenVINO 或者 NVIDIA TensorRT 的自动优化管线人家帮你做图优化和算子融合比你手动剪枝稳多了。量化就更别提了INT8 量化一旦校准集没选好精度掉得让你怀疑人生尤其是分割这种对边界敏感的任务掉个两三个点 mIoU 在视觉上就是锯齿状边缘惨不忍睹。第三条轻量化解码器与注意力设计。既然 backbone 轻了解码器要是还用 ASPP 那种带五个并行空洞卷积的重模块那 bottleneck 依然卡死。于是大家搞出了 BiseNet 的双分支结构——空间分支保留高分辨率浅层特征、上下文分支用快速下采样抓全局两者融合又快又准。还有 LEDNet、DFANet 这些基本都是在“分辨率”和“通道数”这两个维度上做文章用分组卷积、通道注意力来替代笨重的全局自注意力。轻量化不是简单地把层数减少而是让每一层的工作更高效、更专注。说到这儿我得吐槽一下某些顶会论文demo 视频里跑得飞快一看参数量只有几 MB仔细一瞧人家是在 1080P 的图上 resize 到 512x256 跑的。这不是耍流氓吗工业场景里谁允许你把高清图缩成马赛克再分割小目标直接就没了。真要测实时性得在目标设备上、原始分辨率下、满负载跑看那 latency 的 p99 分位数而不是看均值——均值都是骗人的偶尔卡一下才要命。最后讲个真实的案例。去年帮一个做农业喷洒无人机的朋友优化模型他们要在 Jetson Xavier NX 上跑作物病害分割原版 DeepLabV3 死活跑不到 15 FPS。后来怎么搞直接把空洞卷积的 dilation rate 调小、把 ASPP 里的五个分支砍成三个、把 backbone 从 ResNet-101 换成 MobileNetV3精度从 78.2 掉到 74.6但帧率从 11 飙到了 32。用户反馈反而更好了因为实时性上来了无人机飞得快也不卡顿。这就是工程里的金科玉律精度不是一切体验才是。