5.2 图像融合网络框架 ............................... 33
第五章 基于变换特征的红外与可见光图像融合算法
5.1图像融合网络框架
近些年来，深度学习技术在红外和可见光图像融合任务中被广泛使用，这些基于深度学习的方法端到端的训练融合算法，对网络结构和融合规则进行调整以获得良好的融合效果。2017 年，Liu 等提出了一种基于卷积神经网络的红外和可见光图像融合方法，将 ILSVRC 2012 作为基础数据集，使用不同标准差的高斯模糊和随机采样生成训练数据。该网络输入为双通道源图像，通过神经网络计算权重高斯金字塔，然后以多尺度方式进行合并，实现了良好的活动水平测量和权重分配，在红外和可见光图像融合中取得较好的融合效果。然而，该模型仅利用神经网络的特征提取能力来确定融合参数，融合过程仍采用多尺度技术。2020 年，Ma[64]等提出了一种基于 GAN 的红外与可见光图像融合方法，在生成器中引入了残差网络，实现了端到端的网络训练，提出了细节损失和目标边缘增强损失函数，以改善融合性能。
如图 5-1 所示，将红外与可见光图像分别放入 DCGAN 生成器来提取结构和纹理特征，通过均方差损失函数重建图像，然后与 GT 进行对抗，来区分数据的真实性。
总结与展望
本文就“合成数据驱动的图像融合方法研究”进行了广泛的探索，结合光传输模型的合成数据集设计健壮的网络结构，提出了一系列有监督的图像融合算法。本文的研究内容如下：
（1）阐述了图像融合的研究背景和意义，介绍了论文的主要研究内容和创新点。
（2）介绍图像融合相关工作，包括深度学习的概念和模型，生成对抗网络和合成数据集，并对常见图像融合方法和评价指标进行了概括和总结。
（3）本章介绍了合成图像的背景及应用，以及一些基于 RGBD 多聚焦数据集的合成方法。为了进行有监督的红外与可见光图像融合，介绍了带有 GT 的红外与可见光合成数据集的方法，该数据集基于纽约大学的 RGBD 数据集 NYU-Depth，经过光传输模型得到。
（4）红外和可见光图像的融合可以获得更为全面丰富的信息。由于没有真实融合图像作参考，现有的融合图像数据集缺少融合图像作为监督条件，基于监督学习的训练方法很难应用于图像融合，现有的融合网络都是尽可能在两个模态间找到平衡。因此，提出一种基于光传输模型的多模态图像合成方法。基于合成的数据集在条件 GAN 中设计边缘和细节损失函数，用合成的多模态图像数据集以端到端的方式训练该网络，最终获得一个融合网络。该网络可以使融合图像较好的保留可见光图像的细节和红外图像的目标特征，锐化红外图像热辐射目标的边界。在 TNO 公开数据集上与主流的 IFCNN，DenseFuse，FusionGAN 等方法对比，通过主观和客观的图像质量评价检验了该方法的有效性。在多聚焦图像融合中也取得了良好的融合效果。
（5）由于红外和可见光成像特点的不同，红外图像拥有更多的结构信息，可见光图像具有更多的纹理信息。在以往的融合框架中，会将红外和可见光图像堆叠放入神经网络中训练，通常对于每个图像的判别不会很明确。为此，在有监督的融合框架下，通过一个两层网络来获取红外的结构信息和可见光的纹理信息，在此基础上将生成器的结果与鉴别器进行博弈，最终生成融合结果。通过主观和客观的图像质量评价检验了该方法的有效性。
参考文献（略）
