本发明涉及图像融合，特别涉及一种综合空间域和频域信息的红外和可见光图像轻量级融合方法。
背景技术：
1、图像融合通过提取不同传感器获取的图像中的有效信息来获得含有更丰富信息的图像，当前图像融合在诸多领域都有着广泛应用，如遥感，医学影像以及自动驾驶等等。红外和可见图像融合是一种典型的图像融合任务，红外图像包含热辐射信息，即使在光照较弱的情况下，热目标由于高对比度也会比较突出，但是红外图像对于热辐射较弱的物体不敏感，所以缺乏纹理细节信息。可见图像具有丰富的纹理细节信息，但非常容易受到天气和照明的影响，在低能见度的场景下会造成目标位置结构信息丢失，这对于一些下游视觉任务是非常不利的。红外和可见图像融合通过利用两种模态的成像特点，挖掘红外和可见图像之间的互补信息，可生成含有丰富纹理细节和对比度信息的融合图像，从而提升人类和机器的视觉感知。
2、红外和可见光图像融合的主要挑战在于如何从两种模态中提取有价值的信息，并利用这些信息生成融合图像。早期的传统方法主要包括稀疏表示方法、多尺度变换方法、子空间方法和混合模型。尽管这些传统方法在某些情况下可以生成不错的融合图像，但融合规则的复杂性和手动特征提取的局限性限制了红外和可见特征的表达，从而降低了融合性能。随着深度学习方法在众多计算机视觉任务中取得成功，一些红外和可见图像融合算法利用卷积神经网络(cnns)、生成对抗网络(gans)或transformer来获取融合图像。尽管这些基于深度学习的算法可以产生令人满意的融合图像，但它们主要集中在空间域融合上，忽视了频率域中的信息。此外，一些方法具有高度复杂的网络结构，导致推理速度较慢，并且难以满足实际场景的实时需求。
3、大部分图像融合方法仅关注空间域中的图像特征，而未考虑频率域中的特征，然而这两个域的特征是不同的。在空间域中，目标和背景可以更好地被观察到。在频率域中，可以通过寻找高频信息和重复模式来更好地识别边缘和纹理。因此，如果模型能够融合来自不同域的信息，它将具有更全面的理解图像的能力。现有的结合频域的融合方法，要么只捕捉频域信息，而没有整合空间域信息，要么通过频率和空间域的顺序处理生成最终的融合结果，这种串行结构的局限性在于，网络在关注另一个域的有效信息时，可能会轻易忽略来自一个域的宝贵信息。
4、因此，如何提供一种具备同时从频率域和空间域学习隐藏表示能力的红外和可见光图像轻量融合方法是本领域技术人员亟待解决的技术问题。
技术实现思路
1、本发明针对上述研究现状，提供了一种基于空间域和频域信息的红外和可见光图像轻量融合方法，基于并行处理结构，以充分提取频域和空间域中两种模态的有效信息，从而生成质量良好的融合图像，解决了大多数图像融合方法无法有效结合频域信息，且难以满足实际应用中时效性要求的问题。
2、本发明提供的一种基于空间域和频域信息的红外和可见光图像轻量融合方法，包括如下步骤：
3、源图像对获取步骤：
4、获取同一目标的红外图像和可见光图像的源图像对；
5、将所述红外图像和可见光图像均输入到空间域分支和频域分支中，两分支对源图像对进行并行处理；
6、空间域分支处理步骤：
7、对所述源图像对分别进行特征提取，获得红外特征图和可见光特征图；
8、将所述红外特征图和可见光特征图分别输入到两个三分支结构中，所述三分支结构分别用于提取当前源图像的梯度信息、抑制冗余信息，以及提取另一源图像的互补信息，分别获得两个模态的三分支结构处理结果；
9、将所述两个模态的三分支结构处理结果进行逐元素相加，得到两个模态的空间域分支的输出；
10、频域分支处理步骤：
11、通过快速傅里叶变换将所述源图像对从空间域转换到频域，获得频域图像对；
12、对所述频域图像对分别计算幅值和相位；
13、将两个模态的幅值沿通道维度拼接后进行幅值融合，获得幅值融合结果，以及将两个模态的相位沿通道维度拼接后进行相位融合，获得相位融合结果；
14、通过逆傅里叶变换，将所述幅值融合结果和所述相位融合结果转换回空间域，获得空间域输出；
15、对所述空间域输出进行增强后，对增强结果进行细化与重建，得到频域分支的输出；
16、频域和空间域融合：将所述空间域分支的输出和所述频域分支的输出沿通道维度拼接后，进行特征融合，得到最终的输出。
17、优选的，所述源图像对获取步骤中，获取同一目标的红外图像和可见光图像的源图像对包括如下步骤：
18、读取目标的红外图并将其转换成张量，获得红外图像；
19、读取所述目标的可见光图，将可见光图从rgb通道转换到ycbcr通道，提取y通道并转换成张量，获得可见光图像；
20、源图像对的形状均为1x h x w，其中h和w分别为图像的高和宽。
21、优选的，所述空间域分支处理步骤中，对所述源图像对分别进行特征提取包括如下步骤：
22、通过1组卷积层和激活层提取特征分别对所述源图像对进行特征提取，得到特征
23、优选的，所述所述三分支结构包括纹理信息分支、注意力分支和互补信息分支，其处理步骤包括：
24、纹理信息分支：通过sobel算子提取当前源图像的梯度信息；
25、注意力分支：当前源图像通过一个卷积层和一个sigmoid激活层得到注意力图，然后与输入的当前源图像相乘获得注意力分支结果；
26、互补信息分支：将红外特征图和可见光特征图逐元素相加，然后分别通过两个注意力快获得来自不同模态的互补信息。
27、优选的，所述频域分支处理步骤中对所述频域图像对分别计算幅值和相位包括如下步骤：
28、分别计算红外图像和可见光图像的幅值和相位图，公式如下：
29、{ampir，ampvis}＝{|fft(iir)|，|fft(ivis)|}
30、{phair，phavis}＝{θ(fft(iir)，θ(fft(ivis))}
31、其中，|·|表示取绝对值；θ逐元素计算角度；ampir，ampvis分别表示红外图像和可见光图像的幅值；iir，ivis分别表示红外图像和可见光图像；phair，phavis分别表示红外图像和可见光图像的相位；fft表示快速傅里叶变换。
32、优选的，所述频域分支处理步骤中，获得幅值融合结果和相位融合结果包括如下步骤：
33、将两个模态的幅值图和相位图沿通道维度拼接起来，分别输入到由2组卷积层和leakyrelu激活层构成的融合块中，完成幅值的融合与相位的融合。
34、优选的，所述频域分支处理步骤中，通过逆傅里叶变换，将所述幅值融合结果和所述相位融合结果转换回空间域的公式如下：
35、
36、其中，是空间域输出；表示拼接操作；ifft表示逆傅里叶变换，ampir,ampvis分别表示红外图像和可见光图像的幅值；phair,phavis分别表示红外图像和可见光图像的相位。
37、优选的，所述频域分支处理步骤中，对所述空间域输出进行增强包括如下步骤：
38、对所述空间域输出分别提取最大值和均值，将所述最大值和均值沿着通道维度进行拼接，获得增强结果。
39、优选的，所述频域分支处理步骤中，对增强结果进行细化与重建包括如下步骤：
40、将所述增强结果输入到2组卷积层和relu激活层进行细化与重建，公式如下：
41、
42、其中，ffre是频域分支的输出；是空间域输出；表示拼接操作。
43、优选的，所述频域和空间域融合步骤包括：
44、将所述空间域分支的输出fir,fvis以及所述频域分支的输出ffre沿着通道维度拼接起来然后输入到4组卷积层和激活层构成的融合块中，其中前3组激活层为relu，最后一组激活层为tanh，最后输出融合图像；公式如下：
45、
46、其中，fir表示红外图像的空间域分支输出；fvis表示可见光图像的空间域分支输出；c表示拼接操作。
47、本发明提出的基于空间域和频域信息的红外和可见光图像轻量融合方法相较现有技术具有以下有益效果：
48、(1)本发明方法涉及了一种结合频域和空间域的红外和可见光图像轻量级融合网络，该网络不仅可以捕获空间域中的有效信息，还能通过频域信息的融合对空间域信息进行补充，从而在融合效果和下游任务中取得出色的表现；
49、(2)本发明方法通过双模态细化模块来尽可能的提取空间域中的互补信息，通过简单的注意力块和梯度信息提取块过滤冗余信息并保留纹理细节，此外，通过一个频域融合模块在频域中对两种模态进行幅值和相位的融合，频域融合的结果能弥补空间域中全局交互的缺失；
50、(3)本发明方法有效结合频域信息，生成的融合图像质量优于其他先进融合方法，并在下游监测任务中的表现也优于所对比的方法，此外，由于较低的参数量与计算量，与其他先进方法相比，有着出色的推理效率，能满足实际应用场景中的实时性需求。
1.一种基于空间域和频域信息的红外和可见光图像轻量融合方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的一种基于空间域和频域信息的红外和可见光图像轻量融合方法，其特征在于，所述源图像对获取步骤中，获取同一目标的红外图像和可见光图像的源图像对包括如下步骤：
3.根据权利要求1所述的一种基于空间域和频域信息的红外和可见光图像轻量融合方法，其特征在于，所述空间域分支处理步骤中，对所述源图像对分别进行特征提取包括如下步骤：
4.根据权利要求1所述的一种基于空间域和频域信息的红外和可见光图像轻量融合方法，其特征在于，所述所述三分支结构包括纹理信息分支、注意力分支和互补信息分支，其处理步骤包括：
5.根据权利要求1所述的一种基于空间域和频域信息的红外和可见光图像轻量融合方法，其特征在于，所述频域分支处理步骤中对所述频域图像对分别计算幅值和相位包括如下步骤：
6.根据权利要求1所述的一种基于空间域和频域信息的红外和可见光图像轻量融合方法，其特征在于，所述频域分支处理步骤中，获得幅值融合结果和相位融合结果包括如下步骤：
7.根据权利要求1所述的一种基于空间域和频域信息的红外和可见光图像轻量融合方法，其特征在于，所述频域分支处理步骤中，通过逆傅里叶变换，将所述幅值融合结果和所述相位融合结果转换回空间域的公式如下：
8.根据权利要求1所述的一种基于空间域和频域信息的红外和可见光图像轻量融合方法，其特征在于，所述频域分支处理步骤中，对所述空间域输出进行增强包括如下步骤：
9.根据权利要求1所述的一种基于空间域和频域信息的红外和可见光图像轻量融合方法，其特征在于，所述频域分支处理步骤中，对增强结果进行细化与重建包括如下步骤：
10.根据权利要求1所述的一种基于空间域和频域信息的红外和可见光图像轻量融合方法，其特征在于，所述频域和空间域融合步骤包括：
