本发明涉及图像处理，尤其涉及一种多源遥感影像的超分辨率重建方法及系统。
背景技术：
1、单一的传感器获得的影像不能同时满足高空间分辨率、高光谱分辨率和高时间分辨率的需求。低空间分辨率遥感影像的超分辨率技术是获取高空间分辨率影像的一种便利方式，而只利用一个遥感影像的超分辨率缺少补充信息，容易导致超分辨率过程中信息失真。借助其他源遥感影像的超分辨率有利于提高超分辨率精度，因此本发明提出一种多源遥感影像的超分辨率重建方法。而双源传感的遥感影像因为成像原理不同导致传感器差异和巨大分辨率差异，目前的多源遥感影像的空谱融合和时空融合技术发展较为独立，基于深度学习模型大多只能实现空谱融合或时空融合。
2、此外，相关技术中缺少参考图像用于深度学习模型的监督训练，如空谱融合模型缺少高空间分辨率多光谱图像作为参考，降分辨率的训练模型导致在全分辨率数据上的融合性能不理想。
3、多源遥感图像之间的分辨率差异巨大以及传感器偏差导致低分辨率影像的纹理、细节和变化信息重构困难，如时空融合中landsat影像与modis影像之间的分辨率之比是16，而图像超分辨率的分辨率之比大约是4。
4、因此，有必要提供一种解决方案，以聚合不同传感特性的信息，增强双源图像跨分辨率和层级的互补特征，并逐级增强局部-全局信息的重构以恢复有效的融合信息。
技术实现思路
1、本发明目的在于提供多源遥感影像的超分辨率重建方法及系统，能够提高遥感影像空间分辨率。
2、为了实现上述目的，本发明提供以下技术方案：
3、第一方面，本发明实施例提供了一种多源遥感影像的超分辨率重建方法，所述方法包括以下步骤：
4、s100，构建多源遥感影像的超分辨率重建模型，所述超分辨率重建模型包括编码器、多头交叉注意力融合解码器和重构单元；其中，所述多头交叉注意力融合解码器包括多分辨率特征融合mff模块和mcaft模块，所述多分辨率特征融合mff模块和mcaft模块共同构成多分辨率阶层的递归级联融合结构；
5、s200，获取输入图像，通过所述编码器对所述输入图像提取浅层特征和多分辨率深层级特征；其中，所述输入图像包括精分辨率图像和粗分辨率图像，所述浅层特征包括精分辨率浅层特征和粗分辨率浅层特征；所述精分辨率浅层特征为从所述精分辨率图像提取的浅层特征，所述粗分辨率浅层特征为从粗分辨率图像提取的浅层特征；所述多分辨率深层级特征包括分别从精分辨率图像和粗分辨率图像提取的多个分辨率的深层级特征；
6、s300，将所述浅层特征和多分辨率深层级特征输入所述多头交叉注意力融合解码器，通过所述多分辨率特征融合mff模块对所述浅层特征和多分辨率深层级特征进行多分辨率特征融合，得到多个分辨率下的初始融合特征；通过所述mcaft模块对每个分辨率下的初始融合特征和对应的上一级分辨率的交叉注意力融合特征逐级进行交叉注意力融合，生成包含多个分辨率的交叉注意力融合特征；其中，最上一级分辨率阶层的交叉注意力融合特征为对应的初始融合特征；
7、s400，将所述交叉注意力融合特征输入重构单元生成最终的高分辨率图像。
8、可选地，s300中，所述将所述浅层特征和多分辨率深层级特征输入所述多头交叉注意力融合解码器，通过所述多分辨率特征融合mff模块对所述浅层特征和多分辨率深层级特征进行多分辨率特征融合，得到多个分辨率下的初始融合特征；通过所述mcaft模块对所述多个分辨率下的初始融合特征和对应的上一级分辨率的融合结果逐级进行交叉注意力融合，生成包含多个分辨率的交叉注意力融合特征，包括：
9、s310，由所述编码器获取精分辨率浅层特征、粗分辨率浅层特征、精分辨率图像的多分辨率深层级特征fn和粗分辨率图像的多分辨率深层级特征cn，对精分辨率浅层特征进行下采样操作获得对应的多分辨率特征sfn，对粗分辨率浅层特征进行上采样操作获得对应的多分辨率特征scn；其中，所述编码器和所述多头交叉注意力融合解码器均包括n+1个一一对应的分辨率阶层；所述多头交叉注意力融合解码器的每个分辨率阶层均包括精分辨率图像mff模块mfff和粗分辨率图像mff模块mffc，n＝0,1,……,n；
10、s320，对于第n个分辨率阶层，将所述精分辨率浅层特征对应的多分辨率特征sfn与多分辨率深层级特征fn、以及粗分辨率浅层特征对应的多分辨率特征scn与多分辨率深层级特征cn跳跃连接至所述多头交叉注意力融合解码器中对应的分辨率阶层，并分别作为该分辨率阶层中精分辨率图像mff模块mfff和粗分辨率图像mff模块mffc的输入进行多分辨率特征融合，得到该分辨率阶层对应的初始融合特征；其中，所述初始融合特征包括第一初始融合特征和第二初始融合特征；
11、s330，将第n分辨率阶层的初始融合特征以及对应的上一分辨率阶层的交叉注意力融合特征传输到mcaft模块中进行交叉注意力融合，生成与该分辨率阶层对应分辨率的交叉注意力融合特征yn，直至获得理想分辨率的交叉注意力融合特征；其中，当前分辨率阶层的交叉注意力融合特征作为下一分辨率阶层融合的输入构成递归级联的融合结构，第n分辨率阶层的上一级分辨率阶层的交叉注意力融合特征为对应的初始融合特征。
12、可选地，所述mcaft模块包括多头深度卷积交叉注意力模块、多头深度卷积自注意力模块、增强的前向传递网络，所述多头深度卷积交叉注意力模块包括h头注意力；s330中，所述将第n个分辨率阶层的初始融合特征以及上一分辨率阶层的交叉注意力融合特征传输到mcaft模块中进行交叉注意力融合，生成与该分辨率阶层对应分辨率的交叉注意力融合特征yn，直至获得理想分辨率的交叉注意力融合特征，包括：
13、s331，对于第n分辨率阶层的多头深度卷积交叉注意力模块h头注意力中的第j头注意力，将第一初始融合特征输入不同的像元卷积和深度卷积分别生成第j头注意力的和将第二初始融合特征输入不同的像元卷积和深度卷积分别生成第j头注意力的和将上一分辨率阶层的交叉注意力融合特征进行上采样操作后输入像元卷积和深度卷积生成第j头注意力的qj；其中，j＝1,2,...,h；
14、s332，将qj和经变形和相乘操作后得到第一矩阵，将qj和经上述操作后得到第二矩阵；第一矩阵和第二矩阵经过拼接和softmax操作后获得交叉注意力图；
15、s333，将和分别与交叉注意力图相乘得到对应的第一加强图像和第二加强图像，对所述第一加强图像和第二加强图像进行拼接融合得到第j头的交叉融合注意力特征
16、s334，将上述生成的h头的交叉融合注意力特征进行拼接和映射生成第n分辨率阶层多头深度卷积交叉注意力模块的交叉融合注意力特征tn；
17、s335，将所述交叉融合注意力特征tn进行层归一化操作、多头深度卷积自注意力、增强的前向传递网络、残差连接获得第n分辨率阶层的交叉注意力融合特征yn；
18、s336，重复执行s331至s335共n+1次，生成理想分辨率的交叉注意力融合特征y0，以及分别与n个分辨率阶层对应分辨率的交叉注意力融合特征yn，n＝1,2,……,n。
19、可选地，s400中，所述最终的高分辨率图像通过以下公式得到：
20、
21、其中，hin是超分辨率重建模型的第n分辨率的重建结果，yn是多头交叉注意力融合解码器中第n个分辨率阶层的交叉注意力融合特征，hi0是重建的高分辨率图像，hi0∈rh×w×b，h、w、b分别是图像的高度、宽度和波段数，表示核为3的卷积操作，表示核为3的卷积操作后进行lrelu函数运算。
22、第二方面，本发明实施例提供了一种多源遥感影像的超分辨率重建系统，所述系统包括：
23、至少一个处理器；
24、至少一个存储器，用于存储至少一个程序；
25、当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上述任意一项所述的多源遥感影像的超分辨率重建方法。
26、本发明的有益效果是：本发明公开一种多源遥感影像的超分辨率重建方法及系统，本发明提供的多头交叉注意力融合解码器，通过多分辨率特征融合mff模块对所述浅层特征和多分辨率深层级特征进行多分辨率特征融合，得到多个分辨率下的初始融合特征；通过mcaft模块对所述多个分辨率下的初始融合特征和对应的前一级分辨率的交叉注意力融合特征进行交叉注意力融合，生成包含多个分辨率的交叉注意力融合特征；本发明能够聚合不同传感特性的信息，自主增强双源图像跨分辨率和层级的互补特征，并逐级增强局部-全局信息的重构以恢复有效的融合信息，提高遥感影像的空间分辨率。
1.一种多源遥感影像的超分辨率重建方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，s300中，所述将所述浅层特征和多分辨率深层级特征输入所述多头交叉注意力融合解码器，通过所述多分辨率特征融合mff模块对所述浅层特征和多分辨率深层级特征进行多分辨率特征融合，得到多个分辨率下的初始融合特征；通过所述mcaft模块对所述多个分辨率下的初始融合特征逐级进行交叉注意力融合，生成包含多个分辨率的交叉注意力融合特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述mcaft模块包括多头深度卷积交叉注意力模块、多头深度卷积自注意力模块、增强的前向传递网络，所述多头深度卷积交叉注意力模块包括h头注意力；s330中，所述将第n个分辨率阶层的初始融合特征以及上一分辨率阶层的交叉注意力融合特征传输到mcaft模块中进行交叉注意力融合，生成与该分辨率阶层对应分辨率的交叉注意力融合特征yn，直至获得理想分辨率的交叉注意力融合特征，包括：
4.根据权利要求3所述的方法，其特征在于，s400中，所述最终的高分辨率图像通过以下公式得到：
5.一种多源遥感影像的超分辨率重建系统，其特征在于，所述系统包括：
