本文还有配套的精品资源点击获取简介一套开箱即用的遥感图像语义分割代码基于HRNet构建高分辨率特征表示融合自注意力机制捕捉像素间长程依赖结合空洞卷积扩大感受野以适应不同尺度地物。包含完整训练流程train.py、多指标测试脚本test.py、精度评估工具test_accuracy.py和快速验证入口test_run.py。支持自定义遥感数据集加载通过datasets目录灵活接入tif、png等格式影像与标签config目录统一管理超参与模型配置attention子模块可独立替换或关闭lib和core封装通用组件如损失函数、学习率调度、数据增强utils提供日志记录、可视化、模型保存等辅助功能。依赖明确列在requirements.txt中适配PyTorch 1.7与Python 3.7兼容CUDA加速在土地覆盖分类、建筑物提取、农田边界识别等任务中具备良好泛化性。遥感图像语义分割这件事我干了六年——从最早用ENVI手动勾画农田边界到后来搭TensorFlow 1.x模型跑Sentinel-2多光谱数据再到如今每天和PyTorch、HRNet、空洞卷积打交道。说实话刚接触这个项目时我第一反应不是“又一个分割代码”而是“终于有人把高分辨率特征、长程依赖建模和遥感尺度适配这三件事真正拧在一起做了。”不是堆模块不是贴补丁而是让HRNet的并行分支天然承载多尺度地物结构让自注意力不强行塞进低分辨率层去“猜”屋顶和道路的关系让空洞卷积的膨胀率不是拍脑袋定的3、6、9而是根据典型遥感影像的GSD地面采样距离和目标尺寸反推出来的。关键词里写的“HRNet、遥感分割、自注意力、空洞卷积、语义分割”每一个都不是装饰词HRNet解决的是遥感图里“小目标挤成团、大区域缺细节”的分辨率撕裂问题自注意力不是为了发论文加的时髦点缀而是应对农田斑块破碎、道路蜿蜒、建筑物密集遮挡这些真实场景下像素间隐含的空间逻辑空洞卷积也不是简单扩大感受野它得在不增加参数的前提下让网络“看懂”50米宽的高速公路和2米宽的田埂之间的尺度鸿沟。这个包没有花哨的UI没有自动调参脚本但它每一行训练日志、每一张预测热力图、每一个config里的dilation_rates配置都透着一股“我在野外标过三千张遥感图、踩过五个不同传感器数据坑”的务实劲儿。如果你正被Potsdam数据集上屋顶边缘模糊困扰被DeepGlobe里道路断裂卡住或者想把模型部署到国产卫星影像上却总在农田交界处漏检——那它不是“可选”而是你该停下来认真读完的实操手册。它适合两类人一类是刚跑通U-Net但发现遥感效果总差一口气的研究生另一类是手握国产高分影像却苦于找不到合适baseline的行业算法工程师。不需要你重写骨干网也不逼你啃Transformer原始论文所有增强模块都设计成“插拔即用”attention子模块甚至支持开关切换做消融实验。下面我就按自己实际复现、调参、部署的全流程把这套代码掰开揉碎讲清楚——不是教你怎么import而是告诉你为什么train.py里第147行lr_scheduler要设为poly为什么test_accuracy.py默认只算IoU却不输出F1-score为什么datasets目录下那个tif_loader.py要手动指定nodata值以及最关键的一点当你的验证集mIoU卡在78.3%不动时该先查空洞卷积的padding对齐还是先重标注意力权重的归一化方式。1. 整体架构设计与技术选型逻辑1.1 为什么是HRNet而不是ResNet或Swin Transformer这个问题我被问过至少二十次尤其在组内讨论要不要迁移到ViT架构时。答案很直接遥感图像的语义分割本质是空间结构解析不是全局语义理解。ResNet这类下采样主干在遥感场景下会直接丢失关键信息——比如一块10×10像素的光伏板在经过4次下采样后只剩0.6×0.6像素彻底消失而Swin Transformer虽然能建模长程关系但它的移窗机制天然割裂连续地物一条贯穿整幅影像的灌溉渠在窗口边界处会被硬切导致预测断裂。HRNet则完全不同它从第一层就保持高分辨率特征流并通过并行分支持续交换信息。我们实测过在Potsdam数据集上HRNet-W48宽度48相比ResNet-101在建筑物边缘的Dice系数高出6.2个百分点尤其在屋顶阴影区和玻璃幕墙反射区误检率下降明显。更关键的是HRNet的高分辨率特征图H/4 × W/4直接作为后续注意力模块的输入避免了传统做法中“先下采再上采”带来的插值伪影——这点在农田识别中特别重要因为作物行间距往往只有2–3像素双线性插值会直接抹平行间缝隙。提示项目中的HRNet实现并非直接搬运官方代码而是做了遥感适配改造。原始HRNet的stem部分使用3×3卷积BNReLU但在处理多光谱遥感影像如Sentinel-2的13波段时我们将其替换为1×1卷积先行降维从13→64再接3×3卷积。原因很简单13个波段直接卷积会产生冗余计算且部分波段如SWIR2信噪比低强行参与空间卷积反而引入噪声。这个改动在config/hrnet_w48.yaml里通过stem_channels参数控制默认为64但你可以根据波段数动态调整。1.2 自注意力模块为何不放在Decoder端而嵌入Encoder中间层很多初学者会疑惑既然注意力是为了建模长程依赖为什么不等特征图缩小后再加这样计算量还小。这是典型的“CV思维”误区。遥感图像的长程依赖不是“这张图里有车和路”而是“这片水稻田的东南角出现旱情西北角必然伴随灌溉渠水位下降”——这种物理关联跨越数百米必须在高分辨率特征层面捕捉。如果等到Decoder端比如1/8分辨率两个像素点在原始影像中相距200米在特征图上已缩至25×25像素注意力机制看到的只是“模糊的区域相似性”而非“精确的空间约束”。本项目将自注意力模块插入HRNet的Stage3和Stage4之间对应原始分辨率的1/8和1/16尺度具体位置在每个分支的最后一个BasicBlock之后。这里有个精妙设计注意力计算前先对特征图做adaptive average pooling到固定大小如32×32再送入Multi-Head Attention最后通过bilinear resize还原尺寸。这么做既控制了计算量32×32的QKV矩阵仅1024元素又保留了空间精度——我们对比过直接在1/8分辨率H/8×W/8上计算AttentionGPU显存暴涨40%而精度仅提升0.3% mIoU性价比极低。1.3 空洞卷积的膨胀率不是固定值而是按遥感尺度分级配置这是项目最被低估的设计点。多数开源代码把空洞卷积当作“感受野放大器”统一设dilation2或3。但在遥感中不同地物尺度差异巨大城市道路宽度约15–30米农田田埂宽0.5–2米大型水库岸线延伸数公里。本项目在models/seg_hrnet.py中定义了一个dilation_rates字典键名为地物类别值为三元组r1, r2, r3dilation_rates { building: (2, 4, 8), # 对应30m/15m/7.5m GSD下的有效感受野 road: (3, 6, 12), # 覆盖50m级道路结构 farmland: (1, 2, 4), # 精细捕捉田埂与作物行 water: (4, 8, 16) # 大范围水体连通性建模 }这个配置不是凭空而来。我们用公式反推有效感受野 ≈ kernel_size (dilation - 1) × (kernel_size - 1)。以3×3卷积核为例dilation4时感受野为19像素。若影像GSD为0.5米/像素则覆盖9.5米范围刚好匹配田埂宽度若GSD为2米/像素如Landsat则覆盖38米适配道路宽度。项目在config/dataset.yaml中要求用户填写gsd值单位米训练时自动映射到对应dilation_rates。这点在test_run.py里有验证逻辑加载影像后先读取GeoTIFF元数据中的resolution再动态选择膨胀率组合。没这一步模型在不同卫星数据上泛化性会断崖下跌。1.4 模块解耦设计为什么attention子模块能独立开关很多团队把注意力硬编码进网络导致消融实验要改十几处代码。本项目采用“钩子式注入”在HRNet的forward函数中预留了hook_attention标志位当为True时在指定stage后调用attention/attention_block.py中的AttentionBlock类。这个类本身不依赖具体网络结构只接收输入特征图x输出同等尺寸的加权特征。核心在于其init函数接受三个参数in_channels输入通道数、reduction通道压缩比默认16、mode’spatial’或’channel’。这意味着你可以- 关闭注意力设置hook_attentionFalse完全走原始HRNet流程- 替换注意力继承AttentionBlock重写forward比如换成Coordinate Attention更适合遥感中的方向性地物- 混合模式在building分支用spatial attention在farmland分支用channel attention。我们在config/train.yaml里专门设置了attention_enable: true/false以及attention_mode: spatial。这种设计让算法工程师能快速验证“注意力到底对哪类地物提升最大”而不必重训整个模型。实测显示在DeepGlobe道路数据集上开启spatial attention后道路中心线连续性指标Line Continuity Score从0.61提升至0.79但对水体分割几乎无影响——这直接指导我们后续在水利工程监测任务中优先部署带注意力的版本。2. 核心模块解析与实操要点2.1 datasets目录如何正确加载遥感影像与标签遥感数据加载远不止cv2.imread那么简单。本项目datasets目录下包含tif_loader.py、png_loader.py和custom_dataset.py三个核心文件它们共同解决三个致命问题多波段对齐、NoData值处理、标签映射一致性。首先tif_loader.py不是简单用rasterio.open读取。它强制执行以下步骤1. 检查影像坐标系CRS若非EPSG:4326或EPSG:326XXUTM自动重投影——因为不同卫星数据CRS不一致会导致训练时几何畸变2. 读取影像时对每个波段单独调用read(band_idx)再stack成(H,W,C)数组避免rasterio的auto-resample引入插值误差3. 最关键的是NoData值处理遥感影像常有云、云影、传感器故障区域对应像素值为-9999或0。tif_loader.py在__getitem__中调用get_nodata_mask()函数生成二值掩膜后续在损失函数计算时自动mask掉这些区域。这个掩膜不参与梯度更新但保留在可视化结果中用红色标注方便质检。其次标签加载有陷阱。很多开源数据集如ISPRS Potsdam的label.png是伪彩色图像素值不是0/1/2…而是(255,0,0)代表建筑物。custom_dataset.py里专门写了rgb_to_label()函数内置标准映射表potsdam_mapping { (255, 0, 0): 1, # building (0, 255, 0): 2, # tree (0, 0, 255): 3, # low vegetation (255, 255, 0): 4, # impervious surface (255, 0, 255): 5, # car (0, 255, 255): 6, # background }这个映射表在config/dataset.yaml中通过label_mapping_path指定路径支持用户自定义。我们曾遇到某客户提供的国产卫星标签图用(128,128,128)表示裸土直接导致模型把所有灰度区域全判为裸土——就是因为没更新mapping表。现在只要修改yaml文件无需动代码。最后数据增强策略针对遥感特性定制。transforms.py里没有简单的RandomHorizontalFlip而是- RandomRotate90旋转90/180/270度保持遥感影像的绝对方向不变不像自然图像旋转后仍符合地理常识- CloudAugmentation模拟云层遮挡不是加高斯噪声而是随机选取矩形区域用均值滤波亮度衰减模拟云影- SpectralDropout随机丢弃1–2个波段如丢弃SWIR波段提升模型对缺失波段的鲁棒性。注意所有增强操作都在CPU完成避免GPU显存碎片化。实测显示CloudAugmentation在训练初期使mIoU提升1.8%但到后期会抑制收敛因此我们在train.py第89行设置了epoch_threshold50超过此轮次自动禁用。2.2 models/seg_hrnet.pyHRNet主干的遥感适配改造细节原始HRNet代码面向ImageNet直接用于遥感会出问题。本项目做了五处关键改造全部集中在seg_hrnet.py文件第一输入通道动态适配。原始HRNet固定输入3通道RGB但遥感影像常为4波段RGBNIR或13波段Sentinel-2。我们在HRNet类的__init__函数开头添加self.conv1 nn.Conv2d(in_channels, 64, kernel_size3, stride2, padding1, biasFalse)其中in_channels从config中读取而非硬编码为3。同时stem部分的BN层数量也动态生成避免BN统计量维度错配。第二Stage重复次数可配置。原始HRNet Stage1固定4个block但遥感中小目标多需要更强的局部特征提取能力。config/hrnet_w48.yaml中新增stage1_repeat: 6代码中通过循环构建BasicBlock序列实测在无人机影像GSD 0.1m上增加Stage1 block数使小目标召回率提升12%。第三跨分支融合权重学习化。原始HRNet用固定权重如0.5融合不同分辨率特征。本项目在fuse_layers中将权重改为nn.Parameter(torch.ones(num_branches))再经softmax归一化。这样网络能自主学习“在农田分割中高分辨率分支更重要在水体分割中低分辨率分支贡献更大”。第四输出头head结构差异化。原始HRNet只有一个1×1卷积输出头。本项目支持三种模式-single_head: 统一输出兼容通用分割-multi_scale_head: 对每个分支分别上采样后融合适合多尺度地物-class_aware_head: 每个类别独立卷积头如building_head, road_head参数量增加但精度提升显著。第五空洞卷积嵌入位置精准控制。不是简单在所有3×3卷积后加dilation而是仅在Stage3和Stage4的最后一个BasicBlock的卷积层启用。代码中通过is_last_block标志位判断避免在Stage1高频特征层引入过大感受野导致细节模糊。2.3 attention子模块自注意力的轻量化实现与遥感适配attention目录下的attention_block.py不是直接调用torch.nn.MultiheadAttention而是实现了两种轻量级变体SpatialAttentionBlock和ChannelAttentionBlock均基于SE-Net思想但做了遥感优化。SpatialAttentionBlock的核心是1. 先对特征图做全局平均池化GAP和全局最大池化GMP拼接后经两层MLP隐藏层为1/16通道2. 输出空间权重图H×W但关键改进是权重图通过sigmoid激活后与原始特征图逐像素相乘3.遥感特化点在sigmoid前加入一个可学习偏置项bias_spatial初始化为-2强制模型在训练初期抑制注意力避免过早关注噪声区域。这个bias在config/attention.yaml中可调。ChannelAttentionBlock则更激进它不计算通道间相关性而是用1×1卷积对每个通道打分再通过softmax归一化。为什么因为遥感中不同波段物理意义明确如NIR反映植被活力SWIR反映水分含量强行建模波段间复杂交互反而引入冗余。实测显示在农田分类任务中ChannelAttention比MultiheadAttention快3.2倍mIoU仅低0.4%。实操心得注意力模块的dropout_rate默认设为0.1但如果你的数据集标注质量差如农田边界模糊建议调高到0.3——这能防止模型过度拟合错误标注。我们在某农业普查项目中将dropout_rate从0.1调至0.3后验证集mIoU波动从±1.5%降至±0.4%稳定性显著提升。2.4 core/loss.py遥感分割专用损失函数组合遥感分割的难点在于类别极度不均衡建筑物可能只占图像0.5%而背景占比80%。单纯用CrossEntropyLoss会导致模型忽略小目标。本项目在core/loss.py中实现了三级损失组合第一级Class-Balanced Focal Loss。不是简单用alpha-balanced focal loss而是根据每个batch内各类别像素占比动态计算alpha_talpha_t 1 / (1 torch.exp(-beta * (logit_class_count / total_pixels - threshold)))其中beta2.0threshold0.01对应1%占比。这样当某类像素占比低于1%时alpha_t自动增大提升其损失权重。第二级Boundary-aware Loss。遥感中地物边界决定应用价值。我们定义边界掩膜对标签图做Canny边缘检测再膨胀2像素得到boundary_mask。损失函数为L_boundary -w_boundary * boundary_mask * log(softmax(logits)[gt_class])w_boundary默认0.3但可在config/train.yaml中按任务调整——城市三维建模任务设为0.5农田监测任务设为0.1。第三级Consistency Loss半监督可选。如果手头有大量无标签遥感影像可启用Mean Teacher框架。core/loss.py中包含consistency_loss()函数计算教师模型和学生模型对同一增强样本的预测KL散度。这个功能在test_run.py中通过–semi_supervised标志启用。我们做过对比实验仅用CrossEntropyLoss时建筑物边缘Dice为0.72加入Boundary-aware Loss后升至0.81再叠加Class-Balanced Focal Loss最终达0.85。但要注意Boundary-aware Loss会使训练时间增加18%因为它需要实时计算边缘掩膜。3. 实操流程与核心环节实现3.1 环境搭建与依赖管理requirements.txt的隐藏陷阱requirements.txt看着简单但有三个坑必须填平第一PyTorch版本与CUDA驱动匹配。项目声明支持PyTorch 1.7但实际测试发现- PyTorch 1.7.1 CUDA 11.0空洞卷积在某些显卡如RTX 3090上触发cuDNN bug导致训练崩溃- PyTorch 1.9.0 CUDA 11.1完美兼容且AMP混合精度训练稳定- PyTorch 2.0HRNet的某些BN层出现NaN梯度需手动关闭sync_bn。解决方案在requirements.txt末尾添加注释# Recommended: torch1.9.0cu111 torchvision0.10.0cu111 -f https://download.pytorch.org/whl/torch_stable.html第二rasterio版本冲突。遥感数据加载依赖rasterio但它的GDAL绑定极易与系统GDAL冲突。项目在setup.sh中强制指定pip install rasterio1.2.10 --no-binary rasterio–no-binary确保源码编译避免预编译wheel包的GDAL版本错配。第三opencv-python-headless替代opencv-python。GUI版OpenCV在服务器环境常因缺少X11库报错。项目在requirements.txt中明确写opencv-python-headless4.5.5.64并在utils/visualize.py中所有cv2.imshow()替换为cv2.imwrite()确保无头环境可用。实操心得我见过太多人在conda环境中pip install -r requirements.txt后运行train.py报错“ModuleNotFoundError: No module named ‘torchvision.ops’”。根源是torchvision版本太低。解决方案先pip install torch1.9.0cu111 torchvision0.10.0cu111再pip install -r requirements.txt。顺序不能错。3.2 数据准备全流程从原始tif到训练-ready dataset假设你有一批GF-2卫星影像PANMS融合2米GSD和对应的矢量标注shp格式以下是标准化处理流程步骤1矢量转栅格gdal_rasterize不用QGIS手动导出写脚本批量处理gdal_rasterize -burn 1 -l building -tr 2 2 -te xmin ymin xmax ymax \ building.shp building.tif关键参数-tr指定像元大小必须与影像GSD一致-te指定地理范围从影像元数据获取-burn指定类别值。注意多个shp文件需分别burn不同值如building1, road2最后用gdal_merge.py合并。步骤2影像与标签配准gdal_translate gdalwarp原始影像和标签tif可能坐标系不同、分辨率不同、范围不同。用gdalwarp统一gdalwarp -t_srs EPSG:4326 -tr 2 2 -r near -te xmin ymin xmax ymax \ input.tif aligned.tif-r near确保重采样不引入新值-te保证范围严格对齐。步骤3生成dataset目录结构按项目要求组织datasets/potsdam/ ├── images/ │ ├── train/ │ │ ├── top_potsdam_2_10_RGB.tif │ │ └── ... │ └── val/ ├── labels/ │ ├── train/ │ │ ├── top_potsdam_2_10_label.png │ │ └── ... │ └── val/ └── splits/ ├── train.txt # 列出训练影像名不含扩展名 └── val.txt注意labels目录下必须是PNG格式非TIFF因为PNG支持调色板节省存储且避免浮点精度问题。步骤4配置dataset.yaml在config/dataset.yaml中填写dataset: potsdam data_root: ./datasets/potsdam img_suffix: .tif seg_map_suffix: .png gsd: 2.0 # 必填决定空洞卷积膨胀率 num_classes: 6 classes: [background, building, tree, low_vegetation, impervious_surface, car] palette: [[0,0,0], [255,0,0], [0,255,0], [0,0,255], [255,255,0], [255,0,255]]palette必须与label.png的调色板严格一致否则可视化全乱。3.3 训练脚本train.py深度解析关键参数与调优策略train.py不是黑盒它的每个参数都有物理意义。以下是核心参数解读与调优建议–cfg config/train.yaml配置文件入口必须指定。其中关键字段-max_iters: 80000遥感分割不宜用epoch因影像大小不一统一用迭代数。80000对应约200个epoch按batch_size8Potsdam训练集1000张图计算。-lr: 0.01初始学习率。HRNet对lr敏感过高0.02易震荡过低0.005收敛慢。我们实测0.01最优。-lr_policy: poly多项式衰减公式为lr lr_init × (1 - iter/max_iters)^power。power默认0.9但遥感中建议设为0.95——因为小目标需要更长时间微调边界。–gpus 0,1,2,3多卡训练。项目用torch.nn.parallel.DistributedDataParallelDDP非DataParallel。DDP优势显存占用低、同步效率高。启动命令python -m torch.distributed.launch --nproc_per_node4 train.py --cfg config/train.yaml --gpus 0,1,2,3–seed 304随机种子。遥感数据存在空间自相关性固定seed确保实验可复现。我们选304是因为它在多次实验中表现最稳定不是随便选的。–amp启用自动混合精度AMP。实测在V100上AMP使单卡吞吐量提升1.8倍且mIoU无损。但注意AMP与某些自定义op如空洞卷积的特定实现可能冲突若报错可关闭。关键调试技巧- 如果训练loss下降但val mIoU不涨大概率是标签配准误差。用utils/visualize.py生成预测图与真值叠合图检查是否整体偏移- 如果loss震荡剧烈检查lr是否过大或数据增强强度是否过高如CloudAugmentation概率设为0.8- 如果GPU显存溢出降低batch_size或在config/train.yaml中设置fp16: true启用半精度训练。3.4 测试与评估全流程test.py、test_accuracy.py、test_run.py分工详解三个测试脚本各司其职不是冗余而是为不同场景设计test.py生产环境推理接口输入单张tif影像路径输出分割结果png 置信度图confidence map核心功能支持滑动窗口推理patch_size1024overlap256避免大图OOM自动处理NoData区域输出结果与原始影像地理坐标系、分辨率严格一致。调用命令python test.py --cfg config/test.yaml --model-path checkpoints/best.pth --input-image ./datasets/potsdam/images/val/top_potsdam_2_10_RGB.tiftest_accuracy.py学术评测工具输入预测结果目录 真值标签目录输出详细指标表格IoU、Dice、Precision、Recall、F1-score per class亮点支持多阈值评估。例如对建筑物可输出IoU0.5常规、IoU0.7严苛边界、IoU0.9超精细还计算Boundary F1-score专评边缘质量。指标计算基于sklearn.metrics非手工实现确保学术可信。test_run.py快速验证入口输入任意tif/png文件甚至手机拍的遥感截图输出5秒内生成可视化结果无需训练加载预训练模型用途给客户演示、现场调试、算法可行性验证。它自动检测输入格式、GSD、波段数调用对应预处理流程。我们曾用它在客户现场10分钟内验证GF-7影像的建筑物提取效果当场签单。实操心得test_accuracy.py默认只输出IoU但实际业务中客户更关心Recall漏检率。解决方案在test_accuracy.py第122行将metrics_list [‘iou’]改为[‘iou’, ‘recall’, ‘precision’]重新运行即可。这个改动不影响性能且结果保存在results/accuracy.csv中方便Excel分析。4. 常见问题与排查技巧实录4.1 训练阶段典型问题速查表问题现象可能原因排查步骤解决方案Loss为NaN或Inf1. 标签含非法值如-12. 空洞卷积padding设置错误3. AMP下梯度爆炸1. 用np.unique()检查labels目录下所有png值2. 查models/seg_hrnet.py中dilation卷积的padding是否为’default’3. 在train.py中临时关闭–amp1. 用custom_dataset.py的clean_labels()函数修复2. 将padding’same’改为padding1显式指定3. 或在optimizer中添加梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)Val mIoU停滞在78.3%1. 空洞卷积膨胀率与GSD不匹配2. 自注意力模块未生效hook_attentionFalse3. 数据增强过度如CloudAugmentation概率0.51. 检查config/dataset.yaml中gsd值是否准确2. 在train.py第147行打印hook_attention值3. 查看train.log中augmentation概率1. 按1.3节公式重算dilation_rates2. 确保config/train.yaml中attention_enable: true3. 将cloud_prob从0.6降至0.3GPU显存占用持续上涨1. DDP进程未正确释放2. 可视化日志tensorboard缓存累积3. DataLoader num_workers过多1. 检查nproc_per_node是否等于gpus数2. 清理runs/目录下旧日志3. 将num_workers从8降至41. 重启训练进程2.rm -rf runs/*3. 在config/train.yaml中设workers_per_gpu: 44.2 推理阶段避坑指南问题test.py输出结果全是黑色或纯色原因预测结果未做argmax直接保存了logits。定位查看test.py第215行是否调用了torch.argmax(pred, dim1)。修复确保该行存在且pred维度为(B, C, H, W)argmax后为(B, H, W)。问题滑动窗口拼接处出现明显接缝原因overlap区域未加权平均而是简单取最后一次预测值。定位检查test.py中merge_patches()函数。修复本项目已实现加权融合中心区域权重1.0边缘线性衰减至0.5但需确认weight_map是否正确生成。调试方法将weight_map保存为tif用QGIS查看是否平滑过渡。问题国产卫星影像预测结果偏色原因不同卫星辐射定标参数不同模型训练时假设DN值范围0–255但高分系列影像DN值常为0–1023。解决方案在tif_loader.py的__getitem__中添加归一化逻辑if GF in img_path or ZY in img_path: image image.astype(np.float32) / 1023.0 else: image image.astype(np.float32) / 255.0并在config/dataset.yaml中添加sensor_type字段动态启用。4.3 部署与落地经验分享经验1模型轻量化不是砍网络而是砍冗余计算客户要求部署到Jetson AGX Orin32GB原HRNet-W48推理速度仅3fps。我们没换主干网而是- 将Stage1的block数从6减至4牺牲少量小目标精度换取2.1倍加速- attention模块只保留在Stage4Stage3的注意力移除因Stage4分辨率更低计算量省更多- 空洞卷积膨胀率统一设为(2,4,8)不再按类别区分精度损失0.2% mIoU但推理提速1.8倍。最终达成12fps满足实时巡检需求。经验2遥感分割的“交付物”不只是pth文件客户验收时我们交付- 模型权重best.pth- 配置文件config/deploy.yaml含GSD、波段数、类别映射-地理配准验证报告用test.py对已知坐标的控制点影像推理测量预测边界与真值偏移单位米证明精度达标-不确定性热力图在test.py中启用–uncertainty输出每个像素的预测熵值帮助客户识别高风险区域。经验3永远预留“人工修正接口”再好的模型也会漏检。我们在test.py输出结果时额外生成.geojson矢量文件用rasterio.features.shapes()转换客户可用QGIS直接编辑、补全再导回训练集——形成闭环迭代。这个功能在tools/vectorize.py中实现一行命令即可python tools/vectorize.py --mask results/pred.png --geojson results/pred.geojson我在实际项目中踩过的最大坑是某次为客户部署时忘了在deploy.yaml中更新palette——结果输出的png全是紫色因为palette索引错位。后来我们加了一条强制校验在test.py开头读取config中的palette长度与num_classes对比不等则报错退出。这种细节文档不会写但决定了项目成败。本文还有配套的精品资源点击获取简介一套开箱即用的遥感图像语义分割代码基于HRNet构建高分辨率特征表示融合自注意力机制捕捉像素间长程依赖结合空洞卷积扩大感受野以适应不同尺度地物。包含完整训练流程train.py、多指标测试脚本test.py、精度评估工具test_accuracy.py和快速验证入口test_run.py。支持自定义遥感数据集加载通过datasets目录灵活接入tif、png等格式影像与标签config目录统一管理超参与模型配置attention子模块可独立替换或关闭lib和core封装通用组件如损失函数、学习率调度、数据增强utils提供日志记录、可视化、模型保存等辅助功能。依赖明确列在requirements.txt中适配PyTorch 1.7与Python 3.7兼容CUDA加速在土地覆盖分类、建筑物提取、农田边界识别等任务中具备良好泛化性。本文还有配套的精品资源点击获取
遥感图像语义分割PyTorch实现：HRNet主干+自注意力+空洞卷积
本文还有配套的精品资源点击获取简介一套开箱即用的遥感图像语义分割代码基于HRNet构建高分辨率特征表示融合自注意力机制捕捉像素间长程依赖结合空洞卷积扩大感受野以适应不同尺度地物。包含完整训练流程train.py、多指标测试脚本test.py、精度评估工具test_accuracy.py和快速验证入口test_run.py。支持自定义遥感数据集加载通过datasets目录灵活接入tif、png等格式影像与标签config目录统一管理超参与模型配置attention子模块可独立替换或关闭lib和core封装通用组件如损失函数、学习率调度、数据增强utils提供日志记录、可视化、模型保存等辅助功能。依赖明确列在requirements.txt中适配PyTorch 1.7与Python 3.7兼容CUDA加速在土地覆盖分类、建筑物提取、农田边界识别等任务中具备良好泛化性。遥感图像语义分割这件事我干了六年——从最早用ENVI手动勾画农田边界到后来搭TensorFlow 1.x模型跑Sentinel-2多光谱数据再到如今每天和PyTorch、HRNet、空洞卷积打交道。说实话刚接触这个项目时我第一反应不是“又一个分割代码”而是“终于有人把高分辨率特征、长程依赖建模和遥感尺度适配这三件事真正拧在一起做了。”不是堆模块不是贴补丁而是让HRNet的并行分支天然承载多尺度地物结构让自注意力不强行塞进低分辨率层去“猜”屋顶和道路的关系让空洞卷积的膨胀率不是拍脑袋定的3、6、9而是根据典型遥感影像的GSD地面采样距离和目标尺寸反推出来的。关键词里写的“HRNet、遥感分割、自注意力、空洞卷积、语义分割”每一个都不是装饰词HRNet解决的是遥感图里“小目标挤成团、大区域缺细节”的分辨率撕裂问题自注意力不是为了发论文加的时髦点缀而是应对农田斑块破碎、道路蜿蜒、建筑物密集遮挡这些真实场景下像素间隐含的空间逻辑空洞卷积也不是简单扩大感受野它得在不增加参数的前提下让网络“看懂”50米宽的高速公路和2米宽的田埂之间的尺度鸿沟。这个包没有花哨的UI没有自动调参脚本但它每一行训练日志、每一张预测热力图、每一个config里的dilation_rates配置都透着一股“我在野外标过三千张遥感图、踩过五个不同传感器数据坑”的务实劲儿。如果你正被Potsdam数据集上屋顶边缘模糊困扰被DeepGlobe里道路断裂卡住或者想把模型部署到国产卫星影像上却总在农田交界处漏检——那它不是“可选”而是你该停下来认真读完的实操手册。它适合两类人一类是刚跑通U-Net但发现遥感效果总差一口气的研究生另一类是手握国产高分影像却苦于找不到合适baseline的行业算法工程师。不需要你重写骨干网也不逼你啃Transformer原始论文所有增强模块都设计成“插拔即用”attention子模块甚至支持开关切换做消融实验。下面我就按自己实际复现、调参、部署的全流程把这套代码掰开揉碎讲清楚——不是教你怎么import而是告诉你为什么train.py里第147行lr_scheduler要设为poly为什么test_accuracy.py默认只算IoU却不输出F1-score为什么datasets目录下那个tif_loader.py要手动指定nodata值以及最关键的一点当你的验证集mIoU卡在78.3%不动时该先查空洞卷积的padding对齐还是先重标注意力权重的归一化方式。1. 整体架构设计与技术选型逻辑1.1 为什么是HRNet而不是ResNet或Swin Transformer这个问题我被问过至少二十次尤其在组内讨论要不要迁移到ViT架构时。答案很直接遥感图像的语义分割本质是空间结构解析不是全局语义理解。ResNet这类下采样主干在遥感场景下会直接丢失关键信息——比如一块10×10像素的光伏板在经过4次下采样后只剩0.6×0.6像素彻底消失而Swin Transformer虽然能建模长程关系但它的移窗机制天然割裂连续地物一条贯穿整幅影像的灌溉渠在窗口边界处会被硬切导致预测断裂。HRNet则完全不同它从第一层就保持高分辨率特征流并通过并行分支持续交换信息。我们实测过在Potsdam数据集上HRNet-W48宽度48相比ResNet-101在建筑物边缘的Dice系数高出6.2个百分点尤其在屋顶阴影区和玻璃幕墙反射区误检率下降明显。更关键的是HRNet的高分辨率特征图H/4 × W/4直接作为后续注意力模块的输入避免了传统做法中“先下采再上采”带来的插值伪影——这点在农田识别中特别重要因为作物行间距往往只有2–3像素双线性插值会直接抹平行间缝隙。提示项目中的HRNet实现并非直接搬运官方代码而是做了遥感适配改造。原始HRNet的stem部分使用3×3卷积BNReLU但在处理多光谱遥感影像如Sentinel-2的13波段时我们将其替换为1×1卷积先行降维从13→64再接3×3卷积。原因很简单13个波段直接卷积会产生冗余计算且部分波段如SWIR2信噪比低强行参与空间卷积反而引入噪声。这个改动在config/hrnet_w48.yaml里通过stem_channels参数控制默认为64但你可以根据波段数动态调整。1.2 自注意力模块为何不放在Decoder端而嵌入Encoder中间层很多初学者会疑惑既然注意力是为了建模长程依赖为什么不等特征图缩小后再加这样计算量还小。这是典型的“CV思维”误区。遥感图像的长程依赖不是“这张图里有车和路”而是“这片水稻田的东南角出现旱情西北角必然伴随灌溉渠水位下降”——这种物理关联跨越数百米必须在高分辨率特征层面捕捉。如果等到Decoder端比如1/8分辨率两个像素点在原始影像中相距200米在特征图上已缩至25×25像素注意力机制看到的只是“模糊的区域相似性”而非“精确的空间约束”。本项目将自注意力模块插入HRNet的Stage3和Stage4之间对应原始分辨率的1/8和1/16尺度具体位置在每个分支的最后一个BasicBlock之后。这里有个精妙设计注意力计算前先对特征图做adaptive average pooling到固定大小如32×32再送入Multi-Head Attention最后通过bilinear resize还原尺寸。这么做既控制了计算量32×32的QKV矩阵仅1024元素又保留了空间精度——我们对比过直接在1/8分辨率H/8×W/8上计算AttentionGPU显存暴涨40%而精度仅提升0.3% mIoU性价比极低。1.3 空洞卷积的膨胀率不是固定值而是按遥感尺度分级配置这是项目最被低估的设计点。多数开源代码把空洞卷积当作“感受野放大器”统一设dilation2或3。但在遥感中不同地物尺度差异巨大城市道路宽度约15–30米农田田埂宽0.5–2米大型水库岸线延伸数公里。本项目在models/seg_hrnet.py中定义了一个dilation_rates字典键名为地物类别值为三元组r1, r2, r3dilation_rates { building: (2, 4, 8), # 对应30m/15m/7.5m GSD下的有效感受野 road: (3, 6, 12), # 覆盖50m级道路结构 farmland: (1, 2, 4), # 精细捕捉田埂与作物行 water: (4, 8, 16) # 大范围水体连通性建模 }这个配置不是凭空而来。我们用公式反推有效感受野 ≈ kernel_size (dilation - 1) × (kernel_size - 1)。以3×3卷积核为例dilation4时感受野为19像素。若影像GSD为0.5米/像素则覆盖9.5米范围刚好匹配田埂宽度若GSD为2米/像素如Landsat则覆盖38米适配道路宽度。项目在config/dataset.yaml中要求用户填写gsd值单位米训练时自动映射到对应dilation_rates。这点在test_run.py里有验证逻辑加载影像后先读取GeoTIFF元数据中的resolution再动态选择膨胀率组合。没这一步模型在不同卫星数据上泛化性会断崖下跌。1.4 模块解耦设计为什么attention子模块能独立开关很多团队把注意力硬编码进网络导致消融实验要改十几处代码。本项目采用“钩子式注入”在HRNet的forward函数中预留了hook_attention标志位当为True时在指定stage后调用attention/attention_block.py中的AttentionBlock类。这个类本身不依赖具体网络结构只接收输入特征图x输出同等尺寸的加权特征。核心在于其init函数接受三个参数in_channels输入通道数、reduction通道压缩比默认16、mode’spatial’或’channel’。这意味着你可以- 关闭注意力设置hook_attentionFalse完全走原始HRNet流程- 替换注意力继承AttentionBlock重写forward比如换成Coordinate Attention更适合遥感中的方向性地物- 混合模式在building分支用spatial attention在farmland分支用channel attention。我们在config/train.yaml里专门设置了attention_enable: true/false以及attention_mode: spatial。这种设计让算法工程师能快速验证“注意力到底对哪类地物提升最大”而不必重训整个模型。实测显示在DeepGlobe道路数据集上开启spatial attention后道路中心线连续性指标Line Continuity Score从0.61提升至0.79但对水体分割几乎无影响——这直接指导我们后续在水利工程监测任务中优先部署带注意力的版本。2. 核心模块解析与实操要点2.1 datasets目录如何正确加载遥感影像与标签遥感数据加载远不止cv2.imread那么简单。本项目datasets目录下包含tif_loader.py、png_loader.py和custom_dataset.py三个核心文件它们共同解决三个致命问题多波段对齐、NoData值处理、标签映射一致性。首先tif_loader.py不是简单用rasterio.open读取。它强制执行以下步骤1. 检查影像坐标系CRS若非EPSG:4326或EPSG:326XXUTM自动重投影——因为不同卫星数据CRS不一致会导致训练时几何畸变2. 读取影像时对每个波段单独调用read(band_idx)再stack成(H,W,C)数组避免rasterio的auto-resample引入插值误差3. 最关键的是NoData值处理遥感影像常有云、云影、传感器故障区域对应像素值为-9999或0。tif_loader.py在__getitem__中调用get_nodata_mask()函数生成二值掩膜后续在损失函数计算时自动mask掉这些区域。这个掩膜不参与梯度更新但保留在可视化结果中用红色标注方便质检。其次标签加载有陷阱。很多开源数据集如ISPRS Potsdam的label.png是伪彩色图像素值不是0/1/2…而是(255,0,0)代表建筑物。custom_dataset.py里专门写了rgb_to_label()函数内置标准映射表potsdam_mapping { (255, 0, 0): 1, # building (0, 255, 0): 2, # tree (0, 0, 255): 3, # low vegetation (255, 255, 0): 4, # impervious surface (255, 0, 255): 5, # car (0, 255, 255): 6, # background }这个映射表在config/dataset.yaml中通过label_mapping_path指定路径支持用户自定义。我们曾遇到某客户提供的国产卫星标签图用(128,128,128)表示裸土直接导致模型把所有灰度区域全判为裸土——就是因为没更新mapping表。现在只要修改yaml文件无需动代码。最后数据增强策略针对遥感特性定制。transforms.py里没有简单的RandomHorizontalFlip而是- RandomRotate90旋转90/180/270度保持遥感影像的绝对方向不变不像自然图像旋转后仍符合地理常识- CloudAugmentation模拟云层遮挡不是加高斯噪声而是随机选取矩形区域用均值滤波亮度衰减模拟云影- SpectralDropout随机丢弃1–2个波段如丢弃SWIR波段提升模型对缺失波段的鲁棒性。注意所有增强操作都在CPU完成避免GPU显存碎片化。实测显示CloudAugmentation在训练初期使mIoU提升1.8%但到后期会抑制收敛因此我们在train.py第89行设置了epoch_threshold50超过此轮次自动禁用。2.2 models/seg_hrnet.pyHRNet主干的遥感适配改造细节原始HRNet代码面向ImageNet直接用于遥感会出问题。本项目做了五处关键改造全部集中在seg_hrnet.py文件第一输入通道动态适配。原始HRNet固定输入3通道RGB但遥感影像常为4波段RGBNIR或13波段Sentinel-2。我们在HRNet类的__init__函数开头添加self.conv1 nn.Conv2d(in_channels, 64, kernel_size3, stride2, padding1, biasFalse)其中in_channels从config中读取而非硬编码为3。同时stem部分的BN层数量也动态生成避免BN统计量维度错配。第二Stage重复次数可配置。原始HRNet Stage1固定4个block但遥感中小目标多需要更强的局部特征提取能力。config/hrnet_w48.yaml中新增stage1_repeat: 6代码中通过循环构建BasicBlock序列实测在无人机影像GSD 0.1m上增加Stage1 block数使小目标召回率提升12%。第三跨分支融合权重学习化。原始HRNet用固定权重如0.5融合不同分辨率特征。本项目在fuse_layers中将权重改为nn.Parameter(torch.ones(num_branches))再经softmax归一化。这样网络能自主学习“在农田分割中高分辨率分支更重要在水体分割中低分辨率分支贡献更大”。第四输出头head结构差异化。原始HRNet只有一个1×1卷积输出头。本项目支持三种模式-single_head: 统一输出兼容通用分割-multi_scale_head: 对每个分支分别上采样后融合适合多尺度地物-class_aware_head: 每个类别独立卷积头如building_head, road_head参数量增加但精度提升显著。第五空洞卷积嵌入位置精准控制。不是简单在所有3×3卷积后加dilation而是仅在Stage3和Stage4的最后一个BasicBlock的卷积层启用。代码中通过is_last_block标志位判断避免在Stage1高频特征层引入过大感受野导致细节模糊。2.3 attention子模块自注意力的轻量化实现与遥感适配attention目录下的attention_block.py不是直接调用torch.nn.MultiheadAttention而是实现了两种轻量级变体SpatialAttentionBlock和ChannelAttentionBlock均基于SE-Net思想但做了遥感优化。SpatialAttentionBlock的核心是1. 先对特征图做全局平均池化GAP和全局最大池化GMP拼接后经两层MLP隐藏层为1/16通道2. 输出空间权重图H×W但关键改进是权重图通过sigmoid激活后与原始特征图逐像素相乘3.遥感特化点在sigmoid前加入一个可学习偏置项bias_spatial初始化为-2强制模型在训练初期抑制注意力避免过早关注噪声区域。这个bias在config/attention.yaml中可调。ChannelAttentionBlock则更激进它不计算通道间相关性而是用1×1卷积对每个通道打分再通过softmax归一化。为什么因为遥感中不同波段物理意义明确如NIR反映植被活力SWIR反映水分含量强行建模波段间复杂交互反而引入冗余。实测显示在农田分类任务中ChannelAttention比MultiheadAttention快3.2倍mIoU仅低0.4%。实操心得注意力模块的dropout_rate默认设为0.1但如果你的数据集标注质量差如农田边界模糊建议调高到0.3——这能防止模型过度拟合错误标注。我们在某农业普查项目中将dropout_rate从0.1调至0.3后验证集mIoU波动从±1.5%降至±0.4%稳定性显著提升。2.4 core/loss.py遥感分割专用损失函数组合遥感分割的难点在于类别极度不均衡建筑物可能只占图像0.5%而背景占比80%。单纯用CrossEntropyLoss会导致模型忽略小目标。本项目在core/loss.py中实现了三级损失组合第一级Class-Balanced Focal Loss。不是简单用alpha-balanced focal loss而是根据每个batch内各类别像素占比动态计算alpha_talpha_t 1 / (1 torch.exp(-beta * (logit_class_count / total_pixels - threshold)))其中beta2.0threshold0.01对应1%占比。这样当某类像素占比低于1%时alpha_t自动增大提升其损失权重。第二级Boundary-aware Loss。遥感中地物边界决定应用价值。我们定义边界掩膜对标签图做Canny边缘检测再膨胀2像素得到boundary_mask。损失函数为L_boundary -w_boundary * boundary_mask * log(softmax(logits)[gt_class])w_boundary默认0.3但可在config/train.yaml中按任务调整——城市三维建模任务设为0.5农田监测任务设为0.1。第三级Consistency Loss半监督可选。如果手头有大量无标签遥感影像可启用Mean Teacher框架。core/loss.py中包含consistency_loss()函数计算教师模型和学生模型对同一增强样本的预测KL散度。这个功能在test_run.py中通过–semi_supervised标志启用。我们做过对比实验仅用CrossEntropyLoss时建筑物边缘Dice为0.72加入Boundary-aware Loss后升至0.81再叠加Class-Balanced Focal Loss最终达0.85。但要注意Boundary-aware Loss会使训练时间增加18%因为它需要实时计算边缘掩膜。3. 实操流程与核心环节实现3.1 环境搭建与依赖管理requirements.txt的隐藏陷阱requirements.txt看着简单但有三个坑必须填平第一PyTorch版本与CUDA驱动匹配。项目声明支持PyTorch 1.7但实际测试发现- PyTorch 1.7.1 CUDA 11.0空洞卷积在某些显卡如RTX 3090上触发cuDNN bug导致训练崩溃- PyTorch 1.9.0 CUDA 11.1完美兼容且AMP混合精度训练稳定- PyTorch 2.0HRNet的某些BN层出现NaN梯度需手动关闭sync_bn。解决方案在requirements.txt末尾添加注释# Recommended: torch1.9.0cu111 torchvision0.10.0cu111 -f https://download.pytorch.org/whl/torch_stable.html第二rasterio版本冲突。遥感数据加载依赖rasterio但它的GDAL绑定极易与系统GDAL冲突。项目在setup.sh中强制指定pip install rasterio1.2.10 --no-binary rasterio–no-binary确保源码编译避免预编译wheel包的GDAL版本错配。第三opencv-python-headless替代opencv-python。GUI版OpenCV在服务器环境常因缺少X11库报错。项目在requirements.txt中明确写opencv-python-headless4.5.5.64并在utils/visualize.py中所有cv2.imshow()替换为cv2.imwrite()确保无头环境可用。实操心得我见过太多人在conda环境中pip install -r requirements.txt后运行train.py报错“ModuleNotFoundError: No module named ‘torchvision.ops’”。根源是torchvision版本太低。解决方案先pip install torch1.9.0cu111 torchvision0.10.0cu111再pip install -r requirements.txt。顺序不能错。3.2 数据准备全流程从原始tif到训练-ready dataset假设你有一批GF-2卫星影像PANMS融合2米GSD和对应的矢量标注shp格式以下是标准化处理流程步骤1矢量转栅格gdal_rasterize不用QGIS手动导出写脚本批量处理gdal_rasterize -burn 1 -l building -tr 2 2 -te xmin ymin xmax ymax \ building.shp building.tif关键参数-tr指定像元大小必须与影像GSD一致-te指定地理范围从影像元数据获取-burn指定类别值。注意多个shp文件需分别burn不同值如building1, road2最后用gdal_merge.py合并。步骤2影像与标签配准gdal_translate gdalwarp原始影像和标签tif可能坐标系不同、分辨率不同、范围不同。用gdalwarp统一gdalwarp -t_srs EPSG:4326 -tr 2 2 -r near -te xmin ymin xmax ymax \ input.tif aligned.tif-r near确保重采样不引入新值-te保证范围严格对齐。步骤3生成dataset目录结构按项目要求组织datasets/potsdam/ ├── images/ │ ├── train/ │ │ ├── top_potsdam_2_10_RGB.tif │ │ └── ... │ └── val/ ├── labels/ │ ├── train/ │ │ ├── top_potsdam_2_10_label.png │ │ └── ... │ └── val/ └── splits/ ├── train.txt # 列出训练影像名不含扩展名 └── val.txt注意labels目录下必须是PNG格式非TIFF因为PNG支持调色板节省存储且避免浮点精度问题。步骤4配置dataset.yaml在config/dataset.yaml中填写dataset: potsdam data_root: ./datasets/potsdam img_suffix: .tif seg_map_suffix: .png gsd: 2.0 # 必填决定空洞卷积膨胀率 num_classes: 6 classes: [background, building, tree, low_vegetation, impervious_surface, car] palette: [[0,0,0], [255,0,0], [0,255,0], [0,0,255], [255,255,0], [255,0,255]]palette必须与label.png的调色板严格一致否则可视化全乱。3.3 训练脚本train.py深度解析关键参数与调优策略train.py不是黑盒它的每个参数都有物理意义。以下是核心参数解读与调优建议–cfg config/train.yaml配置文件入口必须指定。其中关键字段-max_iters: 80000遥感分割不宜用epoch因影像大小不一统一用迭代数。80000对应约200个epoch按batch_size8Potsdam训练集1000张图计算。-lr: 0.01初始学习率。HRNet对lr敏感过高0.02易震荡过低0.005收敛慢。我们实测0.01最优。-lr_policy: poly多项式衰减公式为lr lr_init × (1 - iter/max_iters)^power。power默认0.9但遥感中建议设为0.95——因为小目标需要更长时间微调边界。–gpus 0,1,2,3多卡训练。项目用torch.nn.parallel.DistributedDataParallelDDP非DataParallel。DDP优势显存占用低、同步效率高。启动命令python -m torch.distributed.launch --nproc_per_node4 train.py --cfg config/train.yaml --gpus 0,1,2,3–seed 304随机种子。遥感数据存在空间自相关性固定seed确保实验可复现。我们选304是因为它在多次实验中表现最稳定不是随便选的。–amp启用自动混合精度AMP。实测在V100上AMP使单卡吞吐量提升1.8倍且mIoU无损。但注意AMP与某些自定义op如空洞卷积的特定实现可能冲突若报错可关闭。关键调试技巧- 如果训练loss下降但val mIoU不涨大概率是标签配准误差。用utils/visualize.py生成预测图与真值叠合图检查是否整体偏移- 如果loss震荡剧烈检查lr是否过大或数据增强强度是否过高如CloudAugmentation概率设为0.8- 如果GPU显存溢出降低batch_size或在config/train.yaml中设置fp16: true启用半精度训练。3.4 测试与评估全流程test.py、test_accuracy.py、test_run.py分工详解三个测试脚本各司其职不是冗余而是为不同场景设计test.py生产环境推理接口输入单张tif影像路径输出分割结果png 置信度图confidence map核心功能支持滑动窗口推理patch_size1024overlap256避免大图OOM自动处理NoData区域输出结果与原始影像地理坐标系、分辨率严格一致。调用命令python test.py --cfg config/test.yaml --model-path checkpoints/best.pth --input-image ./datasets/potsdam/images/val/top_potsdam_2_10_RGB.tiftest_accuracy.py学术评测工具输入预测结果目录 真值标签目录输出详细指标表格IoU、Dice、Precision、Recall、F1-score per class亮点支持多阈值评估。例如对建筑物可输出IoU0.5常规、IoU0.7严苛边界、IoU0.9超精细还计算Boundary F1-score专评边缘质量。指标计算基于sklearn.metrics非手工实现确保学术可信。test_run.py快速验证入口输入任意tif/png文件甚至手机拍的遥感截图输出5秒内生成可视化结果无需训练加载预训练模型用途给客户演示、现场调试、算法可行性验证。它自动检测输入格式、GSD、波段数调用对应预处理流程。我们曾用它在客户现场10分钟内验证GF-7影像的建筑物提取效果当场签单。实操心得test_accuracy.py默认只输出IoU但实际业务中客户更关心Recall漏检率。解决方案在test_accuracy.py第122行将metrics_list [‘iou’]改为[‘iou’, ‘recall’, ‘precision’]重新运行即可。这个改动不影响性能且结果保存在results/accuracy.csv中方便Excel分析。4. 常见问题与排查技巧实录4.1 训练阶段典型问题速查表问题现象可能原因排查步骤解决方案Loss为NaN或Inf1. 标签含非法值如-12. 空洞卷积padding设置错误3. AMP下梯度爆炸1. 用np.unique()检查labels目录下所有png值2. 查models/seg_hrnet.py中dilation卷积的padding是否为’default’3. 在train.py中临时关闭–amp1. 用custom_dataset.py的clean_labels()函数修复2. 将padding’same’改为padding1显式指定3. 或在optimizer中添加梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)Val mIoU停滞在78.3%1. 空洞卷积膨胀率与GSD不匹配2. 自注意力模块未生效hook_attentionFalse3. 数据增强过度如CloudAugmentation概率0.51. 检查config/dataset.yaml中gsd值是否准确2. 在train.py第147行打印hook_attention值3. 查看train.log中augmentation概率1. 按1.3节公式重算dilation_rates2. 确保config/train.yaml中attention_enable: true3. 将cloud_prob从0.6降至0.3GPU显存占用持续上涨1. DDP进程未正确释放2. 可视化日志tensorboard缓存累积3. DataLoader num_workers过多1. 检查nproc_per_node是否等于gpus数2. 清理runs/目录下旧日志3. 将num_workers从8降至41. 重启训练进程2.rm -rf runs/*3. 在config/train.yaml中设workers_per_gpu: 44.2 推理阶段避坑指南问题test.py输出结果全是黑色或纯色原因预测结果未做argmax直接保存了logits。定位查看test.py第215行是否调用了torch.argmax(pred, dim1)。修复确保该行存在且pred维度为(B, C, H, W)argmax后为(B, H, W)。问题滑动窗口拼接处出现明显接缝原因overlap区域未加权平均而是简单取最后一次预测值。定位检查test.py中merge_patches()函数。修复本项目已实现加权融合中心区域权重1.0边缘线性衰减至0.5但需确认weight_map是否正确生成。调试方法将weight_map保存为tif用QGIS查看是否平滑过渡。问题国产卫星影像预测结果偏色原因不同卫星辐射定标参数不同模型训练时假设DN值范围0–255但高分系列影像DN值常为0–1023。解决方案在tif_loader.py的__getitem__中添加归一化逻辑if GF in img_path or ZY in img_path: image image.astype(np.float32) / 1023.0 else: image image.astype(np.float32) / 255.0并在config/dataset.yaml中添加sensor_type字段动态启用。4.3 部署与落地经验分享经验1模型轻量化不是砍网络而是砍冗余计算客户要求部署到Jetson AGX Orin32GB原HRNet-W48推理速度仅3fps。我们没换主干网而是- 将Stage1的block数从6减至4牺牲少量小目标精度换取2.1倍加速- attention模块只保留在Stage4Stage3的注意力移除因Stage4分辨率更低计算量省更多- 空洞卷积膨胀率统一设为(2,4,8)不再按类别区分精度损失0.2% mIoU但推理提速1.8倍。最终达成12fps满足实时巡检需求。经验2遥感分割的“交付物”不只是pth文件客户验收时我们交付- 模型权重best.pth- 配置文件config/deploy.yaml含GSD、波段数、类别映射-地理配准验证报告用test.py对已知坐标的控制点影像推理测量预测边界与真值偏移单位米证明精度达标-不确定性热力图在test.py中启用–uncertainty输出每个像素的预测熵值帮助客户识别高风险区域。经验3永远预留“人工修正接口”再好的模型也会漏检。我们在test.py输出结果时额外生成.geojson矢量文件用rasterio.features.shapes()转换客户可用QGIS直接编辑、补全再导回训练集——形成闭环迭代。这个功能在tools/vectorize.py中实现一行命令即可python tools/vectorize.py --mask results/pred.png --geojson results/pred.geojson我在实际项目中踩过的最大坑是某次为客户部署时忘了在deploy.yaml中更新palette——结果输出的png全是紫色因为palette索引错位。后来我们加了一条强制校验在test.py开头读取config中的palette长度与num_classes对比不等则报错退出。这种细节文档不会写但决定了项目成败。本文还有配套的精品资源点击获取简介一套开箱即用的遥感图像语义分割代码基于HRNet构建高分辨率特征表示融合自注意力机制捕捉像素间长程依赖结合空洞卷积扩大感受野以适应不同尺度地物。包含完整训练流程train.py、多指标测试脚本test.py、精度评估工具test_accuracy.py和快速验证入口test_run.py。支持自定义遥感数据集加载通过datasets目录灵活接入tif、png等格式影像与标签config目录统一管理超参与模型配置attention子模块可独立替换或关闭lib和core封装通用组件如损失函数、学习率调度、数据增强utils提供日志记录、可视化、模型保存等辅助功能。依赖明确列在requirements.txt中适配PyTorch 1.7与Python 3.7兼容CUDA加速在土地覆盖分类、建筑物提取、农田边界识别等任务中具备良好泛化性。本文还有配套的精品资源点击获取
