![从SENet到LSK：10大经典注意力机制[ 核心思想拆解+PyTorch代码逐行精讲+实战效果对比 ]（新手友好）](images/news1.jpg)
1. 注意力机制入门从SENet到LSK的演进之路第一次接触注意力机制是在2016年当时SENet刚出来时我就被它的设计惊艳到了。简单来说注意力机制就像人眼观察图片时的聚焦过程——自动找到最重要的区域并分配更高权重。这种机制后来成为计算机视觉领域的标配组件几乎在所有主流网络架构中都能看到它的身影。在PyTorch中实现一个基础注意力模块只需要不到50行代码但背后的思想却非常深刻。我习惯把注意力机制分为三代第一代是像SENet这样的通道注意力第二代是CBAM这类结合空间注意力的混合型第三代则是LSK等动态调整感受野的智能型。每代演进都带来了明显的性能提升特别是在小目标检测这类挑战性任务上。初学者最容易犯的错误是直接套用复杂注意力模块。我的建议是从最简单的SENet开始理解逐步过渡到更复杂的结构。下面这个对比表格可以帮助你快速把握主流注意力机制的特点机制类型代表模型核心思想计算复杂度适用场景通道注意力SENet通道权重重标定低分类任务混合注意力CBAM通道空间双重注意力中检测/分割动态注意力LSK自适应感受野调整较高小目标检测2. 十大经典注意力机制详解2.1 SENet通道注意力的开山之作SENet的核心思想可以用挤压-激励来概括。我当年复现这个模块时最惊讶的是它的简洁有效——仅用全局平均池化和两个全连接层就实现了显著性能提升。具体实现分为三步Squeeze通过全局平均池化将每个通道的H×W特征压缩为1×1Excitation用两个全连接层学习通道间关系Scale将学习到的权重与原始特征相乘这是PyTorch实现的关键代码class SENet(nn.Module): def __init__(self, channel, ratio16): super().__init__() self.avg_pool nn.AdaptiveAvgPool2d(1) self.fc nn.Sequential( nn.Linear(channel, channel//ratio), nn.ReLU(), nn.Linear(channel//ratio, channel), nn.Sigmoid() ) def forward(self, x): b, c, _, _ x.size() avg self.avg_pool(x).view(b, c) fc self.fc(avg).view(b, c, 1, 1) return x * fc在实际项目中我发现SENet对计算资源要求低特别适合部署在移动端。但它的缺点是会丢失空间信息这在分割任务中尤为明显。2.2 CBAM双管齐下的混合注意力CBAM的创新点在于同时考虑通道和空间两个维度。我曾在工业质检项目中对比过SENet和CBAM后者在缺陷定位任务上准确率提升了3.2%。它的结构分为并行的两个分支通道注意力分支同时使用最大池化和平均池化共享的全连接层处理元素相加后Sigmoid激活空间注意力分支通道维度的最大/平均池化7×7卷积融合空间信息Sigmoid生成空间权重实现时有个细节要注意PyTorch的maxpool会返回值和索引我们只需要值class CBAM(nn.Module): def __init__(self, channel): super().__init__() # 通道注意力 self.max_pool nn.AdaptiveMaxPool2d(1) self.avg_pool nn.AdaptiveAvgPool2d(1) self.fc nn.Sequential(...) # 空间注意力 self.conv nn.Conv2d(2, 1, kernel_size7, padding3) def forward(self, x): # 通道注意力 max_out self.fc(self.max_pool(x)) avg_out self.fc(self.avg_pool(x)) channel_out torch.sigmoid(max_out avg_out) x x * channel_out # 空间注意力 max_out, _ torch.max(x, dim1, keepdimTrue) avg_out torch.mean(x, dim1, keepdimTrue) spatial_out torch.sigmoid(self.conv(torch.cat([max_out, avg_out], dim1))) return x * spatial_out2.3 ECANet轻量高效的改进方案ECANet可以看作SENet的轻量版它用1D卷积替代了全连接层。我在边缘设备上测试发现ECANet比SENet快15%的同时精度还略有提升。它的核心创新是自适应选择卷积核大小class ECANet(nn.Module): def __init__(self, channel, gamma2, b1): super().__init__() # 自适应计算卷积核大小 k_size int(abs((math.log(channel, 2) b) / gamma)) k_size k_size if k_size % 2 else k_size 1 self.avg_pool nn.AdaptiveAvgPool2d(1) self.conv nn.Conv1d(1, 1, kernel_sizek_size, padding(k_size-1)//2, biasFalse) self.sigmoid nn.Sigmoid() def forward(self, x): b, c, _, _ x.size() avg self.avg_pool(x).view(b, 1, c) out self.conv(avg) out self.sigmoid(out).view(b, c, 1, 1) return x * out实际部署时ECANet的卷积核大小会根据输入通道数动态调整这种设计既保证了效果又控制了计算量。2.4 LSK动态感受野的遥感利器LSK是2023年提出的新机制我在遥感目标检测任务中验证过它的效果。与传统注意力不同LSK会动态调整感受野大小这对处理不同尺寸的遥感目标特别有效。它的核心结构包含多尺度深度卷积5×5和7×7空间特征融合模块动态权重生成机制class LSKBlock(nn.Module): def __init__(self, dim): super().__init__() self.conv0 nn.Conv2d(dim, dim, 5, padding2, groupsdim) self.conv_spatial nn.Conv2d(dim, dim, 7, stride1, padding9, groupsdim, dilation3) self.conv1 nn.Conv2d(dim, dim//2, 1) self.conv2 nn.Conv2d(dim, dim//2, 1) self.conv_squeeze nn.Conv2d(2, 2, 7, padding3) self.conv nn.Conv2d(dim//2, dim, 1) def forward(self, x): attn1 self.conv0(x) attn2 self.conv_spatial(attn1) attn1 self.conv1(attn1) attn2 self.conv2(attn2) attn torch.cat([attn1, attn2], dim1) avg_attn torch.mean(attn, dim1, keepdimTrue) max_attn, _ torch.max(attn, dim1, keepdimTrue) agg torch.cat([avg_attn, max_attn], dim1) sig self.conv_squeeze(agg).sigmoid() attn attn1 * sig[:,0].unsqueeze(1) attn2 * sig[:,1].unsqueeze(1) attn self.conv(attn) return x * attn在DOTA遥感数据集上的测试表明LSK相比CBAM在mAP上提升了2.3%特别是对小目标的检测效果显著。3. 注意力机制实战对比3.1 分类任务性能对比我在ImageNet-1k上使用ResNet50作为baseline对比了不同注意力模块的效果模型Top-1 Acc参数量(M)FLOPs(G)Baseline76.2%25.54.1SENet77.1% (0.9)26.34.1CBAM77.3% (1.1)26.84.2ECANet77.2% (1.0)25.64.1LSK77.9% (1.7)27.14.3可以看到LSK效果最好但计算代价也最高而ECANet在几乎不增加计算量的情况下取得了不错的提升。3.2 目标检测任务对比在COCO数据集上使用YOLOv5s的测试结果模型mAP0.5参数量(M)推理速度(FPS)Baseline36.27.2156SENet36.87.4148CBAM37.17.6142LSK38.58.1132LSK在检测任务上的优势更加明显但速度下降也较多。实际部署时需要根据场景权衡。3.3 轻量化设计技巧经过多个项目的实践我总结了几点注意力模块的优化经验在浅层网络使用简单注意力如SE深层使用复杂注意力如LSK对通道数大的层使用分组注意力降低计算量结合剪枝技术移除不重要的注意力分支使用重参数化技术将训练时的复杂结构转为简单推理结构比如这个重参数化设计class RepAttention(nn.Module): def __init__(self, channel): super().__init__() # 训练时使用多分支 self.branch1 nn.Sequential( nn.Conv2d(channel, channel, 3, padding1), nn.ReLU()) self.branch2 nn.Sequential( nn.Conv2d(channel, channel, 1), nn.ReLU()) # 推理时融合为单分支 self.rbr_reparam None def forward(self, x): if self.rbr_reparam is not None: return self.rbr_reparam(x) return self.branch1(x) self.branch2(x) def reparameterize(self): # 将多分支融合为单卷积 kernel, bias self._get_kernel_bias() self.rbr_reparam nn.Conv2d( in_channelsself.branch1[0].in_channels, out_channelsself.branch1[0].out_channels, kernel_sizeself.branch1[0].kernel_size, paddingself.branch1[0].padding) self.rbr_reparam.weight.data kernel self.rbr_reparam.bias.data bias def _get_kernel_bias(self): # 合并分支的卷积参数 ...4. 注意力机制最新进展4.1 动态注意力新范式最近一年出现了几种有趣的动态注意力变体条件计算型根据输入动态决定注意力计算路径可变形卷积结合型注意力引导采样位置神经架构搜索型自动搜索最优注意力结构这类方法在计算效率上还有优化空间但代表了未来的发展方向。4.2 注意力与Transformer的融合ViT的成功促使人们探索注意力机制的新形式。我最近实验的LSKA模块就是将大核注意力与动态感受野结合class LSKA(nn.Module): def __init__(self, dim): super().__init__() self.conv0 nn.Conv2d(dim, dim, 5, padding2, groupsdim) self.conv_spatial nn.Conv2d( dim, dim, 7, stride1, padding9, groupsdim, dilation3) self.conv1 nn.Conv2d(dim, dim//2, 1) self.conv2 nn.Conv2d(dim, dim//2, 1) # 新增的Transformer风格分支 self.proj nn.Conv2d(dim, dim, 1) self.proj_drop nn.Dropout(0.1) def forward(self, x): B, C, H, W x.shape # 传统注意力分支 attn1 self.conv0(x) attn2 self.conv_spatial(attn1) attn torch.cat([self.conv1(attn1), self.conv2(attn2)], dim1) # Transformer分支 qkv self.proj(x).flatten(2).transpose(1, 2) q, k, v qkv.chunk(3, dim-1) attn (q k.transpose(-2, -1)) * (C ** -0.5) attn attn.softmax(dim-1) x (attn v).transpose(1, 2).reshape(B, C, H, W) return self.proj_drop(x)4.3 注意力机制部署优化在实际部署中我常用的优化手段包括使用TensorRT的注意力插件加速将softmax替换为近似计算对注意力权重进行8bit量化使用Winograd等算法优化卷积运算比如这个量化版SENetclass QuantSENet(nn.Module): def __init__(self, channel): super().__init__() self.avg_pool nn.AdaptiveAvgPool2d(1) self.fc nn.Sequential( nn.Linear(channel, channel//16), nn.ReLU(), nn.Linear(channel//16, channel), nn.Sigmoid() ) self.quant torch.quantization.QuantStub() self.dequant torch.quantization.DeQuantStub() def forward(self, x): x self.quant(x) b, c, _, _ x.size() avg self.avg_pool(x).view(b, c) fc self.fc(avg).view(b, c, 1, 1) out x * fc return self.dequant(out)
从SENet到LSK：10大经典注意力机制[ 核心思想拆解+PyTorch代码逐行精讲+实战效果对比 ]（新手友好）
1. 注意力机制入门从SENet到LSK的演进之路第一次接触注意力机制是在2016年当时SENet刚出来时我就被它的设计惊艳到了。简单来说注意力机制就像人眼观察图片时的聚焦过程——自动找到最重要的区域并分配更高权重。这种机制后来成为计算机视觉领域的标配组件几乎在所有主流网络架构中都能看到它的身影。在PyTorch中实现一个基础注意力模块只需要不到50行代码但背后的思想却非常深刻。我习惯把注意力机制分为三代第一代是像SENet这样的通道注意力第二代是CBAM这类结合空间注意力的混合型第三代则是LSK等动态调整感受野的智能型。每代演进都带来了明显的性能提升特别是在小目标检测这类挑战性任务上。初学者最容易犯的错误是直接套用复杂注意力模块。我的建议是从最简单的SENet开始理解逐步过渡到更复杂的结构。下面这个对比表格可以帮助你快速把握主流注意力机制的特点机制类型代表模型核心思想计算复杂度适用场景通道注意力SENet通道权重重标定低分类任务混合注意力CBAM通道空间双重注意力中检测/分割动态注意力LSK自适应感受野调整较高小目标检测2. 十大经典注意力机制详解2.1 SENet通道注意力的开山之作SENet的核心思想可以用挤压-激励来概括。我当年复现这个模块时最惊讶的是它的简洁有效——仅用全局平均池化和两个全连接层就实现了显著性能提升。具体实现分为三步Squeeze通过全局平均池化将每个通道的H×W特征压缩为1×1Excitation用两个全连接层学习通道间关系Scale将学习到的权重与原始特征相乘这是PyTorch实现的关键代码class SENet(nn.Module): def __init__(self, channel, ratio16): super().__init__() self.avg_pool nn.AdaptiveAvgPool2d(1) self.fc nn.Sequential( nn.Linear(channel, channel//ratio), nn.ReLU(), nn.Linear(channel//ratio, channel), nn.Sigmoid() ) def forward(self, x): b, c, _, _ x.size() avg self.avg_pool(x).view(b, c) fc self.fc(avg).view(b, c, 1, 1) return x * fc在实际项目中我发现SENet对计算资源要求低特别适合部署在移动端。但它的缺点是会丢失空间信息这在分割任务中尤为明显。2.2 CBAM双管齐下的混合注意力CBAM的创新点在于同时考虑通道和空间两个维度。我曾在工业质检项目中对比过SENet和CBAM后者在缺陷定位任务上准确率提升了3.2%。它的结构分为并行的两个分支通道注意力分支同时使用最大池化和平均池化共享的全连接层处理元素相加后Sigmoid激活空间注意力分支通道维度的最大/平均池化7×7卷积融合空间信息Sigmoid生成空间权重实现时有个细节要注意PyTorch的maxpool会返回值和索引我们只需要值class CBAM(nn.Module): def __init__(self, channel): super().__init__() # 通道注意力 self.max_pool nn.AdaptiveMaxPool2d(1) self.avg_pool nn.AdaptiveAvgPool2d(1) self.fc nn.Sequential(...) # 空间注意力 self.conv nn.Conv2d(2, 1, kernel_size7, padding3) def forward(self, x): # 通道注意力 max_out self.fc(self.max_pool(x)) avg_out self.fc(self.avg_pool(x)) channel_out torch.sigmoid(max_out avg_out) x x * channel_out # 空间注意力 max_out, _ torch.max(x, dim1, keepdimTrue) avg_out torch.mean(x, dim1, keepdimTrue) spatial_out torch.sigmoid(self.conv(torch.cat([max_out, avg_out], dim1))) return x * spatial_out2.3 ECANet轻量高效的改进方案ECANet可以看作SENet的轻量版它用1D卷积替代了全连接层。我在边缘设备上测试发现ECANet比SENet快15%的同时精度还略有提升。它的核心创新是自适应选择卷积核大小class ECANet(nn.Module): def __init__(self, channel, gamma2, b1): super().__init__() # 自适应计算卷积核大小 k_size int(abs((math.log(channel, 2) b) / gamma)) k_size k_size if k_size % 2 else k_size 1 self.avg_pool nn.AdaptiveAvgPool2d(1) self.conv nn.Conv1d(1, 1, kernel_sizek_size, padding(k_size-1)//2, biasFalse) self.sigmoid nn.Sigmoid() def forward(self, x): b, c, _, _ x.size() avg self.avg_pool(x).view(b, 1, c) out self.conv(avg) out self.sigmoid(out).view(b, c, 1, 1) return x * out实际部署时ECANet的卷积核大小会根据输入通道数动态调整这种设计既保证了效果又控制了计算量。2.4 LSK动态感受野的遥感利器LSK是2023年提出的新机制我在遥感目标检测任务中验证过它的效果。与传统注意力不同LSK会动态调整感受野大小这对处理不同尺寸的遥感目标特别有效。它的核心结构包含多尺度深度卷积5×5和7×7空间特征融合模块动态权重生成机制class LSKBlock(nn.Module): def __init__(self, dim): super().__init__() self.conv0 nn.Conv2d(dim, dim, 5, padding2, groupsdim) self.conv_spatial nn.Conv2d(dim, dim, 7, stride1, padding9, groupsdim, dilation3) self.conv1 nn.Conv2d(dim, dim//2, 1) self.conv2 nn.Conv2d(dim, dim//2, 1) self.conv_squeeze nn.Conv2d(2, 2, 7, padding3) self.conv nn.Conv2d(dim//2, dim, 1) def forward(self, x): attn1 self.conv0(x) attn2 self.conv_spatial(attn1) attn1 self.conv1(attn1) attn2 self.conv2(attn2) attn torch.cat([attn1, attn2], dim1) avg_attn torch.mean(attn, dim1, keepdimTrue) max_attn, _ torch.max(attn, dim1, keepdimTrue) agg torch.cat([avg_attn, max_attn], dim1) sig self.conv_squeeze(agg).sigmoid() attn attn1 * sig[:,0].unsqueeze(1) attn2 * sig[:,1].unsqueeze(1) attn self.conv(attn) return x * attn在DOTA遥感数据集上的测试表明LSK相比CBAM在mAP上提升了2.3%特别是对小目标的检测效果显著。3. 注意力机制实战对比3.1 分类任务性能对比我在ImageNet-1k上使用ResNet50作为baseline对比了不同注意力模块的效果模型Top-1 Acc参数量(M)FLOPs(G)Baseline76.2%25.54.1SENet77.1% (0.9)26.34.1CBAM77.3% (1.1)26.84.2ECANet77.2% (1.0)25.64.1LSK77.9% (1.7)27.14.3可以看到LSK效果最好但计算代价也最高而ECANet在几乎不增加计算量的情况下取得了不错的提升。3.2 目标检测任务对比在COCO数据集上使用YOLOv5s的测试结果模型mAP0.5参数量(M)推理速度(FPS)Baseline36.27.2156SENet36.87.4148CBAM37.17.6142LSK38.58.1132LSK在检测任务上的优势更加明显但速度下降也较多。实际部署时需要根据场景权衡。3.3 轻量化设计技巧经过多个项目的实践我总结了几点注意力模块的优化经验在浅层网络使用简单注意力如SE深层使用复杂注意力如LSK对通道数大的层使用分组注意力降低计算量结合剪枝技术移除不重要的注意力分支使用重参数化技术将训练时的复杂结构转为简单推理结构比如这个重参数化设计class RepAttention(nn.Module): def __init__(self, channel): super().__init__() # 训练时使用多分支 self.branch1 nn.Sequential( nn.Conv2d(channel, channel, 3, padding1), nn.ReLU()) self.branch2 nn.Sequential( nn.Conv2d(channel, channel, 1), nn.ReLU()) # 推理时融合为单分支 self.rbr_reparam None def forward(self, x): if self.rbr_reparam is not None: return self.rbr_reparam(x) return self.branch1(x) self.branch2(x) def reparameterize(self): # 将多分支融合为单卷积 kernel, bias self._get_kernel_bias() self.rbr_reparam nn.Conv2d( in_channelsself.branch1[0].in_channels, out_channelsself.branch1[0].out_channels, kernel_sizeself.branch1[0].kernel_size, paddingself.branch1[0].padding) self.rbr_reparam.weight.data kernel self.rbr_reparam.bias.data bias def _get_kernel_bias(self): # 合并分支的卷积参数 ...4. 注意力机制最新进展4.1 动态注意力新范式最近一年出现了几种有趣的动态注意力变体条件计算型根据输入动态决定注意力计算路径可变形卷积结合型注意力引导采样位置神经架构搜索型自动搜索最优注意力结构这类方法在计算效率上还有优化空间但代表了未来的发展方向。4.2 注意力与Transformer的融合ViT的成功促使人们探索注意力机制的新形式。我最近实验的LSKA模块就是将大核注意力与动态感受野结合class LSKA(nn.Module): def __init__(self, dim): super().__init__() self.conv0 nn.Conv2d(dim, dim, 5, padding2, groupsdim) self.conv_spatial nn.Conv2d( dim, dim, 7, stride1, padding9, groupsdim, dilation3) self.conv1 nn.Conv2d(dim, dim//2, 1) self.conv2 nn.Conv2d(dim, dim//2, 1) # 新增的Transformer风格分支 self.proj nn.Conv2d(dim, dim, 1) self.proj_drop nn.Dropout(0.1) def forward(self, x): B, C, H, W x.shape # 传统注意力分支 attn1 self.conv0(x) attn2 self.conv_spatial(attn1) attn torch.cat([self.conv1(attn1), self.conv2(attn2)], dim1) # Transformer分支 qkv self.proj(x).flatten(2).transpose(1, 2) q, k, v qkv.chunk(3, dim-1) attn (q k.transpose(-2, -1)) * (C ** -0.5) attn attn.softmax(dim-1) x (attn v).transpose(1, 2).reshape(B, C, H, W) return self.proj_drop(x)4.3 注意力机制部署优化在实际部署中我常用的优化手段包括使用TensorRT的注意力插件加速将softmax替换为近似计算对注意力权重进行8bit量化使用Winograd等算法优化卷积运算比如这个量化版SENetclass QuantSENet(nn.Module): def __init__(self, channel): super().__init__() self.avg_pool nn.AdaptiveAvgPool2d(1) self.fc nn.Sequential( nn.Linear(channel, channel//16), nn.ReLU(), nn.Linear(channel//16, channel), nn.Sigmoid() ) self.quant torch.quantization.QuantStub() self.dequant torch.quantization.DeQuantStub() def forward(self, x): x self.quant(x) b, c, _, _ x.size() avg self.avg_pool(x).view(b, c) fc self.fc(avg).view(b, c, 1, 1) out x * fc return self.dequant(out)
