目录1、题目2、文献信息3、动机4、主要工作1提出新架构2构建新数据集3广泛验证5、核心创新点1无需配准数据训练2多尺度特征提取3边缘引导注意力4细节补偿重建6、网络结构1总体架构2从粗到细的特征提取模块a、多尺度特征提取b、密集特征增强c、特征聚合3边缘引导的注意力特征融合a、边缘图提取和增强b、生成注意力权重图c、加权特征融合4特征补偿重建a、目的b、构建补偿特征c、跨模态特征选择d、跳跃连接和通道拼接e、最终解码重建7、损失函数1总损失函数2对抗损失3关于未配准图像1、题目“Learning a Deep Multi-Scale Feature Ensemble and an Edge-Attention Guidance for Image Fusion”《学习一种深度多尺度特征集成和边缘注意力引导的图像融合方法》2、文献信息作者JinyuanLiu ,Xin Fan , Senior Member, IEEE, Ji Jiang,RishengLiu , Member, IEEE, andZhongxuanLuo出处IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY , 32 ( 1 ) : 105-119IF:11.1 JCR分区Q1新锐分区计算机科学1区链接Learning a Deep Multi-Scale Feature Ensemble and an Edge-Attention Guidance for Image Fusion | IEEE Journals Magazine | IEEE Xplore3、动机现有方法在保留突出的结构和恢复重要的纹理细节方面存在困难4、主要工作1提出新架构级联特征学习与融合学习机制自动学习特征提取和融合规则。2构建新数据集发布了包含多种复杂场景如弱光、雾霾的对齐数据集RealStreet。3广泛验证在多个数据集上验证结果显示该方法好于其他当前最先进的方法。5、核心创新点1无需配准数据训练特征学习模块不依赖对齐的多模态图像对打破了数据获取的限制。2多尺度特征提取利用空洞卷积构建密集上下文模块扩大感受野在不改变图像尺寸下提取粗到精的多尺度特征。3边缘引导注意力设计了边缘引导机制指导融合既保留了显著结构和纹理又有效抑制了噪声。4细节补偿重建引入跳跃连接补偿卷积过程中的细节损失生成视觉更真实的图像。6、网络结构1总体架构训练阶段以端到端的方式对网络进行训练学习了边缘引导注意力机制和从粗到细的特征提取器测试阶段训练后的模型通过生成边缘注意力图引导提取的中间特征与经由编码器跳跃连接生成的补偿特征进行融合。2从粗到细的特征提取模块核心结构设计a、多尺度特征提取利用扩张卷积构建了三条并行的卷积路径每条路径具有不同的扩张因子。原理在不降低图像分辨率的前提下通过“隔行采样”的方式扩大感受野。效果三条路径分别对应5×5、9×9和13×13三种不同大小的感受野从而能够同时捕捉图像的局部细节和全局上下文信息并将这些多尺度特征进行聚合。b、密集特征增强在每一条并行的卷积路径内部都集成了一个密集块。原理采用密集连接将每一层的输出级联作为下一层的输入效果这种设计极大地增强了特征的复用和传递确保提取到的特征更加丰富为后续融合保留了尽可能多的深层信息。c、特征聚合将三条路径的中间结果进行聚合获得融合了多尺度整体信息的最终特征表示分别记为f_ⅈr^e和f_vⅈs^e*卷积算子tp展开卷积路径的序号W和b分别代表卷积层的滤波器参数和基础值3边缘引导的注意力特征融合a、边缘图提取和增强边缘图提取增强边缘b、生成注意力权重图ir和vis各自的增强边缘图送入注意力机制模块分别生成对应的特征权重图Wir和Wvisc、加权特征融合中间特征与注意力模块生成的权重图进行元素级相乘得到融合特征rate 2表示的是具有两次膨胀率的膨胀卷积运算符4特征补偿重建a、目的防止在深度卷积和特征空间转换过程中丢失关键的图像细节信息b、构建补偿特征从特征提取模块中取三个具有不同感受野卷积路径的中间特征并将其相加以此为补偿特征的基础c、跨模态特征选择文献提到在处理红外和可见光双模态输入时会采用选择最大值的策略从这两种模态的中间特征中挑选出最显著的特征作为最终的补偿特征d、跳跃连接和通道拼接这些补偿特征绕过了中间的融合瓶颈直接传递给特征重建模块Block1传递过来的补偿与CONV5的输出在通道维度上进行了拼接Block2传递过来的补偿与CONV6的输出进行了拼接。e、最终解码重建通过上述的通道拼接操作重建网络在解码时不仅拥有了经过注意力机制处理过的深层融合特征还获得了来自编码器阶段原汁原味的多尺度细节特征。最后这些组合特征通过后续的卷积层CONV 7, CONV 8被处理并还原为单通道的最终融合结果图像7、损失函数1总损失函数LMSE均方误差计算输入图像与输出图像之间的欧几里得距离用于约束像素强度的误差LSSIM结构相似性损失用于衡量两幅图像在结构上的相似度结合了亮度、结构和对比度三个分量 保网络在重建时能更好地保留图像的骨架和纹理特征2对抗损失受到生成对抗网络GAN的启发作者将前面的特征提取模块与特征补偿重建模块视为生成器在重建网络的末端引入了一个判别器以引导生成器生成更自然的图像3关于未配准图像作者在TNO数据集上人为合成了未配准的源图像对对图像进行了[-2, 2]、[-5, 5]和[-10, 10]像素的随机平移处理并用提出的方法对这些存在偏差的图像进行融合测试实验结果表明该方法对未配准图像有一定容错性可以处理轻微的未配准图像当像素偏差过大融合结果会出现光晕和伪影
IVIF文献阅读笔记：Learning a Deep Multi-Scale Feature Ensemble and an Edge-Attention Guidance for Image Fus
目录1、题目2、文献信息3、动机4、主要工作1提出新架构2构建新数据集3广泛验证5、核心创新点1无需配准数据训练2多尺度特征提取3边缘引导注意力4细节补偿重建6、网络结构1总体架构2从粗到细的特征提取模块a、多尺度特征提取b、密集特征增强c、特征聚合3边缘引导的注意力特征融合a、边缘图提取和增强b、生成注意力权重图c、加权特征融合4特征补偿重建a、目的b、构建补偿特征c、跨模态特征选择d、跳跃连接和通道拼接e、最终解码重建7、损失函数1总损失函数2对抗损失3关于未配准图像1、题目“Learning a Deep Multi-Scale Feature Ensemble and an Edge-Attention Guidance for Image Fusion”《学习一种深度多尺度特征集成和边缘注意力引导的图像融合方法》2、文献信息作者JinyuanLiu ,Xin Fan , Senior Member, IEEE, Ji Jiang,RishengLiu , Member, IEEE, andZhongxuanLuo出处IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY , 32 ( 1 ) : 105-119IF:11.1 JCR分区Q1新锐分区计算机科学1区链接Learning a Deep Multi-Scale Feature Ensemble and an Edge-Attention Guidance for Image Fusion | IEEE Journals Magazine | IEEE Xplore3、动机现有方法在保留突出的结构和恢复重要的纹理细节方面存在困难4、主要工作1提出新架构级联特征学习与融合学习机制自动学习特征提取和融合规则。2构建新数据集发布了包含多种复杂场景如弱光、雾霾的对齐数据集RealStreet。3广泛验证在多个数据集上验证结果显示该方法好于其他当前最先进的方法。5、核心创新点1无需配准数据训练特征学习模块不依赖对齐的多模态图像对打破了数据获取的限制。2多尺度特征提取利用空洞卷积构建密集上下文模块扩大感受野在不改变图像尺寸下提取粗到精的多尺度特征。3边缘引导注意力设计了边缘引导机制指导融合既保留了显著结构和纹理又有效抑制了噪声。4细节补偿重建引入跳跃连接补偿卷积过程中的细节损失生成视觉更真实的图像。6、网络结构1总体架构训练阶段以端到端的方式对网络进行训练学习了边缘引导注意力机制和从粗到细的特征提取器测试阶段训练后的模型通过生成边缘注意力图引导提取的中间特征与经由编码器跳跃连接生成的补偿特征进行融合。2从粗到细的特征提取模块核心结构设计a、多尺度特征提取利用扩张卷积构建了三条并行的卷积路径每条路径具有不同的扩张因子。原理在不降低图像分辨率的前提下通过“隔行采样”的方式扩大感受野。效果三条路径分别对应5×5、9×9和13×13三种不同大小的感受野从而能够同时捕捉图像的局部细节和全局上下文信息并将这些多尺度特征进行聚合。b、密集特征增强在每一条并行的卷积路径内部都集成了一个密集块。原理采用密集连接将每一层的输出级联作为下一层的输入效果这种设计极大地增强了特征的复用和传递确保提取到的特征更加丰富为后续融合保留了尽可能多的深层信息。c、特征聚合将三条路径的中间结果进行聚合获得融合了多尺度整体信息的最终特征表示分别记为f_ⅈr^e和f_vⅈs^e*卷积算子tp展开卷积路径的序号W和b分别代表卷积层的滤波器参数和基础值3边缘引导的注意力特征融合a、边缘图提取和增强边缘图提取增强边缘b、生成注意力权重图ir和vis各自的增强边缘图送入注意力机制模块分别生成对应的特征权重图Wir和Wvisc、加权特征融合中间特征与注意力模块生成的权重图进行元素级相乘得到融合特征rate 2表示的是具有两次膨胀率的膨胀卷积运算符4特征补偿重建a、目的防止在深度卷积和特征空间转换过程中丢失关键的图像细节信息b、构建补偿特征从特征提取模块中取三个具有不同感受野卷积路径的中间特征并将其相加以此为补偿特征的基础c、跨模态特征选择文献提到在处理红外和可见光双模态输入时会采用选择最大值的策略从这两种模态的中间特征中挑选出最显著的特征作为最终的补偿特征d、跳跃连接和通道拼接这些补偿特征绕过了中间的融合瓶颈直接传递给特征重建模块Block1传递过来的补偿与CONV5的输出在通道维度上进行了拼接Block2传递过来的补偿与CONV6的输出进行了拼接。e、最终解码重建通过上述的通道拼接操作重建网络在解码时不仅拥有了经过注意力机制处理过的深层融合特征还获得了来自编码器阶段原汁原味的多尺度细节特征。最后这些组合特征通过后续的卷积层CONV 7, CONV 8被处理并还原为单通道的最终融合结果图像7、损失函数1总损失函数LMSE均方误差计算输入图像与输出图像之间的欧几里得距离用于约束像素强度的误差LSSIM结构相似性损失用于衡量两幅图像在结构上的相似度结合了亮度、结构和对比度三个分量 保网络在重建时能更好地保留图像的骨架和纹理特征2对抗损失受到生成对抗网络GAN的启发作者将前面的特征提取模块与特征补偿重建模块视为生成器在重建网络的末端引入了一个判别器以引导生成器生成更自然的图像3关于未配准图像作者在TNO数据集上人为合成了未配准的源图像对对图像进行了[-2, 2]、[-5, 5]和[-10, 10]像素的随机平移处理并用提出的方法对这些存在偏差的图像进行融合测试实验结果表明该方法对未配准图像有一定容错性可以处理轻微的未配准图像当像素偏差过大融合结果会出现光晕和伪影
