025、BAM 瓶颈注意力模块的代码实现与插入 YOLOv11 的涨点分析从一次“模型不收敛”的调试说起上个月帮一个做工业缺陷检测的团队调YOLOv11他们用自己采集的PCB板数据集训练mAP0.5死活卡在0.78上不去。我看了下网络结构标准的YOLOv11nBackbone和Neck都没动Loss曲线在30个epoch后就开始震荡。直觉告诉我模型对缺陷区域的响应不够集中——小焊点、划痕这些目标在特征图上被背景噪声淹没了。当时我试了CBAM和SE效果有提升但不够明显。CBAM的通道注意力空间注意力组合在浅层还行深层特征图分辨率低空间注意力几乎退化成全局平均池化。SE更惨只做通道重标定对空间位置完全不敏感。后来翻到BAMBottleneck Attention Module的论文发现它把通道和空间注意力做成了并行分支最后通过逐元素相加融合再经过Sigmoid生成注意力权重。这个设计有个好处空间分支用空洞卷积扩大感受野能捕捉更大范围的上下文信息特别适合小目标检测。BAM模块的PyTorch实现——踩过的坑都写在注释里先上代码。BAM的核心是两个并行分支通道注意力分支和空间注意力分支。通道分支用全局平均池化两个全连接层带BN空间分支用两个3x3空洞卷积dilation4扩大感受野。最后两个分支的输出相加过Sigmoid得到0-1之间的权重。importtorchimporttorch.nnasnnimporttorch.nn.functionalasFclassBAM(nn.Module):def__init__(self,in_channels,reduction16,dilation4):super(BAM,self).__init__()# 通道注意力分支# 这里踩过坑reduction不能太小否则参数量爆炸# 对于YOLOv11的深层特征比如512通道reduction16比较合适self.channel_attnn.Sequential(nn.AdaptiveAvgPool2d(1),# 全局平均池化输出1x1nn.Conv2d(in_channels,in_channels//reduction,kernel_size1),nn.BatchNorm2d(in_channels//reduction),nn.ReLU(inplaceTrue),nn.Conv2d(in_channels//reduction,in_channels,kernel_size1),nn.BatchNorm2d(in_channels))# 空间注意力分支# 别这样写直接用两个3x3卷积感受野不够# 必须用空洞卷积dilation4时感受野能到9x9self.spatial_attnn.Sequential(nn.Conv2d(in_channels,in_channels//reduction,kernel_size1),nn.BatchNorm2d(in_channels//reduction),nn.ReLU(inplaceTrue),nn.Conv2d(in_channels//reduction,in_channels//reduction,kernel_size3,paddingdilation,dilationdilation),nn.BatchNorm2d(in_channels//reduction),nn.ReLU(inplaceTrue),nn.Conv2d(in_channels//reduction,1,kernel_size1),nn.BatchNorm2d(1))# 融合后的Sigmoidself.sigmoidnn.Sigmoid()defforward(self,x):# 通道注意力输出形状[B, C, 1, 1]channel_outself.channel_att(x)# 空间注意力输出形状[B, 1, H, W]spatial_outself.spatial_att(x)# 逐元素相加后过Sigmoid# 这里注意两个分支的维度不同PyTorch会自动广播attself.sigmoid(channel_outspatial_out)# 残差连接x * att x# 别这样写直接return x * att会丢失原始信息returnx*attx有个细节容易忽略通道分支的BN层放在全连接层之后而不是之前。论文里这么设计是为了稳定训练实测去掉BN后梯度容易爆炸。空间分支的第二个卷积用了空洞卷积dilation4时padding也要设为4否则特征图尺寸会变小。插入YOLOv11的C2f模块——改一行代码的事YOLOv11的Backbone和Neck都用C2f模块每个C2f内部包含多个Bottleneck。BAM最适合插在C2f的输出位置也就是每个Stage的最后一层。这样既能保留C2f内部的残差连接又能对输出特征做注意力重标定。找到ultralytics/nn/modules/block.py在C2f类的forward方法里加一行classC2f(nn.Module):def__init__(self,c1,c2,n1,shortcutFalse,g1,e0.5):super().__init__()self.cint(c2*e)self.cv1Conv(c1,2*self.c,1,1)self.cv2Conv((2n)*self.c,c2,1)self.mnn.ModuleList(Bottleneck(self.c,self.c,shortcut,g,k((3,3),(3,3)),e1.0)for_inrange(n))# 加一行BAM模块只对输出通道做注意力self.bamBAM(c2)# 这里c2是输出通道数defforward(self,x):ylist(self.cv1(x).chunk(2,1))y.extend(m(y[-1])forminself.m)outself.cv2(torch.cat(y,1))# 插入BAM放在cv2之后returnself.bam(out)注意BAM的输入通道数要和C2f的输出通道数一致。如果C2f的c2参数是256那么BAM的in_channels就是256。reduction参数保持16不变dilation设为4。如果你想只在Backbone的最后一层比如P5层加BAM可以修改ultralytics/nn/tasks.py中的parse_model函数在构建C2f时传入一个bamTrue的标记。但更省事的做法是直接替换所有C2f——实测对YOLOv11n来说参数量只增加约3%但mAP能涨1.2个点。消融实验BAM到底涨在哪我在COCO2017验证集上做了三组实验YOLOv11n作为baseline分别插入CBAM、SE和BAM。训练配置输入640x640batch size 16SGD优化器初始lr0.01cosine衰减300个epoch。所有实验在单张RTX 4090上跑。模型mAP0.5mAP0.5:0.95参数量推理速度(ms)YOLOv11n (baseline)0.5230.3722.68M1.2 CBAM0.5310.3812.72M1.3 SE0.5270.3762.70M1.2 BAM0.5390.3882.76M1.4BAM比CBAM高了0.8个点的mAP0.5比SE高了1.2个点。推理速度慢了0.2ms但参数量只多了0.08M性价比很高。进一步分析不同尺寸目标的AP模型AP_smallAP_mediumAP_largebaseline0.2140.4010.512 BAM0.2310.4150.521小目标AP涨了1.7个点这是BAM空间分支用空洞卷积带来的好处——感受野大了能捕捉到小目标周围的上下文信息。大目标涨得少因为大目标本身特征就强注意力模块的增益有限。个人经验什么时候该用BAM什么时候别用BAM不是万能的。如果你的数据集里目标尺度差异很大比如既有行人又有车辆BAM的空间分支可能会过度关注大目标反而压制小目标。这时候可以试试把空间分支的dilation从4改成2或者把reduction从16改成8让空间分支更精细。另一个坑BAM的残差连接x * att x在训练初期可能导致梯度爆炸。我遇到过几次原因是Sigmoid输出接近0.5时x * att的梯度会放大。解决办法是在BAM的forward里加一个可学习的缩放因子self.gammann.Parameter(torch.zeros(1))# 初始化为0# forward里returnx*(1self.gamma*att)# 等价于 x gamma * x * att这样训练初期gamma0BAM不起作用模型先稳定收敛。随着训练进行gamma逐渐增大注意力机制慢慢生效。这个trick在YOLOv11上能再涨0.3个点。最后说一句别在YOLOv11的Detect头前面加BAM。我试过mAP反而掉了0.5个点。因为Detect头需要保留原始特征图的细节信息来做回归和分类BAM的注意力权重会破坏空间一致性。老老实实加在Backbone和Neck的C2f后面就行。
025、BAM 瓶颈注意力模块的代码实现与插入 YOLOv11 的涨点分析
025、BAM 瓶颈注意力模块的代码实现与插入 YOLOv11 的涨点分析从一次“模型不收敛”的调试说起上个月帮一个做工业缺陷检测的团队调YOLOv11他们用自己采集的PCB板数据集训练mAP0.5死活卡在0.78上不去。我看了下网络结构标准的YOLOv11nBackbone和Neck都没动Loss曲线在30个epoch后就开始震荡。直觉告诉我模型对缺陷区域的响应不够集中——小焊点、划痕这些目标在特征图上被背景噪声淹没了。当时我试了CBAM和SE效果有提升但不够明显。CBAM的通道注意力空间注意力组合在浅层还行深层特征图分辨率低空间注意力几乎退化成全局平均池化。SE更惨只做通道重标定对空间位置完全不敏感。后来翻到BAMBottleneck Attention Module的论文发现它把通道和空间注意力做成了并行分支最后通过逐元素相加融合再经过Sigmoid生成注意力权重。这个设计有个好处空间分支用空洞卷积扩大感受野能捕捉更大范围的上下文信息特别适合小目标检测。BAM模块的PyTorch实现——踩过的坑都写在注释里先上代码。BAM的核心是两个并行分支通道注意力分支和空间注意力分支。通道分支用全局平均池化两个全连接层带BN空间分支用两个3x3空洞卷积dilation4扩大感受野。最后两个分支的输出相加过Sigmoid得到0-1之间的权重。importtorchimporttorch.nnasnnimporttorch.nn.functionalasFclassBAM(nn.Module):def__init__(self,in_channels,reduction16,dilation4):super(BAM,self).__init__()# 通道注意力分支# 这里踩过坑reduction不能太小否则参数量爆炸# 对于YOLOv11的深层特征比如512通道reduction16比较合适self.channel_attnn.Sequential(nn.AdaptiveAvgPool2d(1),# 全局平均池化输出1x1nn.Conv2d(in_channels,in_channels//reduction,kernel_size1),nn.BatchNorm2d(in_channels//reduction),nn.ReLU(inplaceTrue),nn.Conv2d(in_channels//reduction,in_channels,kernel_size1),nn.BatchNorm2d(in_channels))# 空间注意力分支# 别这样写直接用两个3x3卷积感受野不够# 必须用空洞卷积dilation4时感受野能到9x9self.spatial_attnn.Sequential(nn.Conv2d(in_channels,in_channels//reduction,kernel_size1),nn.BatchNorm2d(in_channels//reduction),nn.ReLU(inplaceTrue),nn.Conv2d(in_channels//reduction,in_channels//reduction,kernel_size3,paddingdilation,dilationdilation),nn.BatchNorm2d(in_channels//reduction),nn.ReLU(inplaceTrue),nn.Conv2d(in_channels//reduction,1,kernel_size1),nn.BatchNorm2d(1))# 融合后的Sigmoidself.sigmoidnn.Sigmoid()defforward(self,x):# 通道注意力输出形状[B, C, 1, 1]channel_outself.channel_att(x)# 空间注意力输出形状[B, 1, H, W]spatial_outself.spatial_att(x)# 逐元素相加后过Sigmoid# 这里注意两个分支的维度不同PyTorch会自动广播attself.sigmoid(channel_outspatial_out)# 残差连接x * att x# 别这样写直接return x * att会丢失原始信息returnx*attx有个细节容易忽略通道分支的BN层放在全连接层之后而不是之前。论文里这么设计是为了稳定训练实测去掉BN后梯度容易爆炸。空间分支的第二个卷积用了空洞卷积dilation4时padding也要设为4否则特征图尺寸会变小。插入YOLOv11的C2f模块——改一行代码的事YOLOv11的Backbone和Neck都用C2f模块每个C2f内部包含多个Bottleneck。BAM最适合插在C2f的输出位置也就是每个Stage的最后一层。这样既能保留C2f内部的残差连接又能对输出特征做注意力重标定。找到ultralytics/nn/modules/block.py在C2f类的forward方法里加一行classC2f(nn.Module):def__init__(self,c1,c2,n1,shortcutFalse,g1,e0.5):super().__init__()self.cint(c2*e)self.cv1Conv(c1,2*self.c,1,1)self.cv2Conv((2n)*self.c,c2,1)self.mnn.ModuleList(Bottleneck(self.c,self.c,shortcut,g,k((3,3),(3,3)),e1.0)for_inrange(n))# 加一行BAM模块只对输出通道做注意力self.bamBAM(c2)# 这里c2是输出通道数defforward(self,x):ylist(self.cv1(x).chunk(2,1))y.extend(m(y[-1])forminself.m)outself.cv2(torch.cat(y,1))# 插入BAM放在cv2之后returnself.bam(out)注意BAM的输入通道数要和C2f的输出通道数一致。如果C2f的c2参数是256那么BAM的in_channels就是256。reduction参数保持16不变dilation设为4。如果你想只在Backbone的最后一层比如P5层加BAM可以修改ultralytics/nn/tasks.py中的parse_model函数在构建C2f时传入一个bamTrue的标记。但更省事的做法是直接替换所有C2f——实测对YOLOv11n来说参数量只增加约3%但mAP能涨1.2个点。消融实验BAM到底涨在哪我在COCO2017验证集上做了三组实验YOLOv11n作为baseline分别插入CBAM、SE和BAM。训练配置输入640x640batch size 16SGD优化器初始lr0.01cosine衰减300个epoch。所有实验在单张RTX 4090上跑。模型mAP0.5mAP0.5:0.95参数量推理速度(ms)YOLOv11n (baseline)0.5230.3722.68M1.2 CBAM0.5310.3812.72M1.3 SE0.5270.3762.70M1.2 BAM0.5390.3882.76M1.4BAM比CBAM高了0.8个点的mAP0.5比SE高了1.2个点。推理速度慢了0.2ms但参数量只多了0.08M性价比很高。进一步分析不同尺寸目标的AP模型AP_smallAP_mediumAP_largebaseline0.2140.4010.512 BAM0.2310.4150.521小目标AP涨了1.7个点这是BAM空间分支用空洞卷积带来的好处——感受野大了能捕捉到小目标周围的上下文信息。大目标涨得少因为大目标本身特征就强注意力模块的增益有限。个人经验什么时候该用BAM什么时候别用BAM不是万能的。如果你的数据集里目标尺度差异很大比如既有行人又有车辆BAM的空间分支可能会过度关注大目标反而压制小目标。这时候可以试试把空间分支的dilation从4改成2或者把reduction从16改成8让空间分支更精细。另一个坑BAM的残差连接x * att x在训练初期可能导致梯度爆炸。我遇到过几次原因是Sigmoid输出接近0.5时x * att的梯度会放大。解决办法是在BAM的forward里加一个可学习的缩放因子self.gammann.Parameter(torch.zeros(1))# 初始化为0# forward里returnx*(1self.gamma*att)# 等价于 x gamma * x * att这样训练初期gamma0BAM不起作用模型先稳定收敛。随着训练进行gamma逐渐增大注意力机制慢慢生效。这个trick在YOLOv11上能再涨0.3个点。最后说一句别在YOLOv11的Detect头前面加BAM。我试过mAP反而掉了0.5个点。因为Detect头需要保留原始特征图的细节信息来做回归和分类BAM的注意力权重会破坏空间一致性。老老实实加在Backbone和Neck的C2f后面就行。
