目录1、题目2、文献信息3、动机4、主要工作1提出STDFusionNet框架2采用伪连体特征提取网络3构建特定损失函数5、核心创新点1首次显式定义融合目标2掩膜引导的隐式检测与融合机制3真正的端到端模型6、网络结构1网络结构2伪连体特征提取网络3特征重建网络7、损失函数1理想融合图像定义2像素损失(Pixel Loss)3梯度损失(Gradient Loss)4梯度损失(Gradient Loss)1、题目“STDFusionNet: An Infrared and Visible Image Fusion Network Based on Salient Target Detection”《STDFusionNet:一种基于显着目标检测的红外与可见光图像融合网络》2、文献信息作者Jiayi Ma , Member, IEEE,LinfengTang ,MeilongXu , Hao Zhang , andGuobaoXiao , Member,IEEE出处IEEE Transactions on Instrumentation and Measurement,VOL.70,1-13IF:5.9 JCR分区Q1新锐分区工程技术2区链接STDFusionNet: An Infrared and Visible Image Fusion Network Based on Salient Target Detection | IEEE Journals Magazine | IEEE Xplore3、动机现有深度学习图像融合方法因未能明确定义理想的融合信息且在构建损失函数时未区分处理源图像的不同区域导致红外显著目标和可见光纹理等关键有效信息在融合过程中被削弱4、主要工作1提出STDFusionNet框架一种基于显著目标检测的红外与可见光图像融合网络2采用伪连体特征提取网络采用伪连体网络架构有区别地从红外图像中选择性提取显著目标特征从可见光图像中提取背景纹理特征3构建特定损失函数结合红外图像的显著目标掩膜mask构建了包含像素损失和梯度损失的特定损失函数用于指导特征的提取与最终融合重建5、核心创新点1首次显式定义融合目标该领域首次将红外与可见光图像融合的优化目标明确定义为红外显著目标与可见光背景纹理的结合2掩膜引导的隐式检测与融合机制创新性地将显著目标掩膜引入特定损失函数引导模型在无需额外网络分支的情况下隐式地实现显著目标检测与关键信息的融合3真正的端到端模型显著目标掩膜仅在模型训练阶段提供空间引导测试阶段无需输入任何掩膜即可生成高质量融合图像实现了高效的端到端推断6、网络结构1网络结构2伪连体特征提取网络伪连体架构网络采用了双分支并行的结构分别独立接收并处理“可见光图像”和“红外图像”。这两个分支的网络结构完全一致但它们的参数是独立训练的目的是为了对不同模态的源图像进行差异化处理初始特征提取每个分支的输入首先通过一个感受野较大的5×5卷积层紧接着是一个LeakyReLU激活函数深层特征强化在初始卷积层之后每个分支均级联了3个连续的残差块(ResBlock)。引入残差块的设计不仅能进一步强化提取到的特征还能有效缓解神经网络训练过程中常见的梯度消失或爆炸问题目的能够有针对性地从红外图像中提取出显著的目标特征同时从可见光图像中提取出丰富的背景纹理特征为后续的特征融合做好准备3特征重建网络多模态特征输入来自特征提取网络两个独立分支的特征会在通道维度上进行拼接后作为重建网络的统一输入核心网络架构特征重建网络的主体由4个连续的残差块级联而成。通过多层残差结构的深入计算网络能够充分整合拼接后的多模态特征无下采样特性最后一层的激活函数使用Tanh以确保融合图像的变化范围与输入图像一致 。同时所有卷积层的填充设置为SAME且步长设置为1这意味着网络不引入任何下采样有效避免了融合过程中的信息丢失确保融合图像大小与源图像一致7、损失函数STDFusionNet的损失函数主要由像素损失和梯度损失部分组成。与以往方法不同的是该方法结合人工标注的显著目标掩膜(Mask)将这两种损失分别专门应用在显著区域和背景区域上1理想融合图像定义结合显著目标掩膜Im理想的融合结果Id被明确定义为红外图像Iir的显著目标与可见光图像Ivi的背景纹理的组合2像素损失(Pixel Loss)像素损失用于约束融合图像If的像素强度分布与理想图像保持一致。分为显著区域像素损失和背景区域像素损失3梯度损失(Gradient Loss)梯度损失的引入是为了迫使融合图像包含更清晰的纹理结构以及边缘更锐利的显著目标4梯度损失(Gradient Loss)该模型在同一区域内平等对待像素损失和梯度损失,定义为背景区域(像素梯度)损失与显著区域(像素梯度)损失的加权和α是用于控制不同区域损失平衡的超参数。正是由于在总损失函数中引入了显著区域损失STDFusionNet才能在无需额外网络结构的情况下以隐式的方式检测并提取出红外图像中的显著目标
IVIF文献阅读笔记：STDFusionNet: An Infrared and Visible Image Fusion Network Based on Salient Target Detect
目录1、题目2、文献信息3、动机4、主要工作1提出STDFusionNet框架2采用伪连体特征提取网络3构建特定损失函数5、核心创新点1首次显式定义融合目标2掩膜引导的隐式检测与融合机制3真正的端到端模型6、网络结构1网络结构2伪连体特征提取网络3特征重建网络7、损失函数1理想融合图像定义2像素损失(Pixel Loss)3梯度损失(Gradient Loss)4梯度损失(Gradient Loss)1、题目“STDFusionNet: An Infrared and Visible Image Fusion Network Based on Salient Target Detection”《STDFusionNet:一种基于显着目标检测的红外与可见光图像融合网络》2、文献信息作者Jiayi Ma , Member, IEEE,LinfengTang ,MeilongXu , Hao Zhang , andGuobaoXiao , Member,IEEE出处IEEE Transactions on Instrumentation and Measurement,VOL.70,1-13IF:5.9 JCR分区Q1新锐分区工程技术2区链接STDFusionNet: An Infrared and Visible Image Fusion Network Based on Salient Target Detection | IEEE Journals Magazine | IEEE Xplore3、动机现有深度学习图像融合方法因未能明确定义理想的融合信息且在构建损失函数时未区分处理源图像的不同区域导致红外显著目标和可见光纹理等关键有效信息在融合过程中被削弱4、主要工作1提出STDFusionNet框架一种基于显著目标检测的红外与可见光图像融合网络2采用伪连体特征提取网络采用伪连体网络架构有区别地从红外图像中选择性提取显著目标特征从可见光图像中提取背景纹理特征3构建特定损失函数结合红外图像的显著目标掩膜mask构建了包含像素损失和梯度损失的特定损失函数用于指导特征的提取与最终融合重建5、核心创新点1首次显式定义融合目标该领域首次将红外与可见光图像融合的优化目标明确定义为红外显著目标与可见光背景纹理的结合2掩膜引导的隐式检测与融合机制创新性地将显著目标掩膜引入特定损失函数引导模型在无需额外网络分支的情况下隐式地实现显著目标检测与关键信息的融合3真正的端到端模型显著目标掩膜仅在模型训练阶段提供空间引导测试阶段无需输入任何掩膜即可生成高质量融合图像实现了高效的端到端推断6、网络结构1网络结构2伪连体特征提取网络伪连体架构网络采用了双分支并行的结构分别独立接收并处理“可见光图像”和“红外图像”。这两个分支的网络结构完全一致但它们的参数是独立训练的目的是为了对不同模态的源图像进行差异化处理初始特征提取每个分支的输入首先通过一个感受野较大的5×5卷积层紧接着是一个LeakyReLU激活函数深层特征强化在初始卷积层之后每个分支均级联了3个连续的残差块(ResBlock)。引入残差块的设计不仅能进一步强化提取到的特征还能有效缓解神经网络训练过程中常见的梯度消失或爆炸问题目的能够有针对性地从红外图像中提取出显著的目标特征同时从可见光图像中提取出丰富的背景纹理特征为后续的特征融合做好准备3特征重建网络多模态特征输入来自特征提取网络两个独立分支的特征会在通道维度上进行拼接后作为重建网络的统一输入核心网络架构特征重建网络的主体由4个连续的残差块级联而成。通过多层残差结构的深入计算网络能够充分整合拼接后的多模态特征无下采样特性最后一层的激活函数使用Tanh以确保融合图像的变化范围与输入图像一致 。同时所有卷积层的填充设置为SAME且步长设置为1这意味着网络不引入任何下采样有效避免了融合过程中的信息丢失确保融合图像大小与源图像一致7、损失函数STDFusionNet的损失函数主要由像素损失和梯度损失部分组成。与以往方法不同的是该方法结合人工标注的显著目标掩膜(Mask)将这两种损失分别专门应用在显著区域和背景区域上1理想融合图像定义结合显著目标掩膜Im理想的融合结果Id被明确定义为红外图像Iir的显著目标与可见光图像Ivi的背景纹理的组合2像素损失(Pixel Loss)像素损失用于约束融合图像If的像素强度分布与理想图像保持一致。分为显著区域像素损失和背景区域像素损失3梯度损失(Gradient Loss)梯度损失的引入是为了迫使融合图像包含更清晰的纹理结构以及边缘更锐利的显著目标4梯度损失(Gradient Loss)该模型在同一区域内平等对待像素损失和梯度损失,定义为背景区域(像素梯度)损失与显著区域(像素梯度)损失的加权和α是用于控制不同区域损失平衡的超参数。正是由于在总损失函数中引入了显著区域损失STDFusionNet才能在无需额外网络结构的情况下以隐式的方式检测并提取出红外图像中的显著目标
