本发明涉及单图像超分辨率领域，具体涉及一种基于参考图像的超分辨率局部重构方法。
背景技术：
1、超分辨率是通过硬件或软件的方法来提高原有图像的分辨率，通过一系列低分辨率的图像、模糊图像来得到高分辨率的图像。
2、低分辨率图像中的目标可能因为分辨率低而变得模糊不清，使得目标的特征信息丢失。这就需要超分辨率技术来有效地恢复图像的细节信息，以便后续的目标识别任务能够顺利进行。在一些超分辨率应用中，除了需要增强的低分辨率图像外，还可能会使用一张或多张高分辨率的参考图像来辅助重建过程。这些参考图像一般与原图内容类似但质量更高，提供了丢失细节的重要参考，可以帮助算法更精确地重现这些细节。
3、局部重构技术则专注于图像的特定区域，目标是提高图像中关键部分的分辨率和细节表现，而不必对整张图像进行全面的超分辨率处理。在众多应用场景中，仅有图像的特定部分(如某些建筑物、地形特征或农作物区域)需要重点分析。通过对这些关键区域进行局部重构，可以在不过度消耗计算资源的同时，显著提升这些区域的图像质量。然而，现有的基于参考图像的超分辨率局部重构方法中特征表达能力不足、无法充分利用参考图像信息，因此，提出一种新的基于参考图像的超分辨率局部重构方法，成为亟待解决的问题。
技术实现思路
1、鉴于此，本发明的目的在于提供一种基于参考图像的超分辨率局部重构方法，以解决现有技术存在的问题。
2、本发明提供的技术方案是：一种基于参考图像的超分辨率局部重构方法，包括如下步骤：
3、s1：构建图像超分辨率局部重构模型并利用训练集和测试集进行训练和测试，得到训练好的图像超分辨率局部重构模型，其中，训练集和测试集中均包括低分辨率图像lr、低分辨率上采样图像lr↑、高分辨率的参考图像ref和先下采样再上采样后的参考图像ref↓↑，所述图像超分辨率局部重构模型包括可学习的纹理提取器、相关性嵌入模块、硬注意力模块、软注意力模块和特征输出模块，所述可学习的纹理提取器lte用于对输入的参考图像ref、参考图像ref↓↑、低分辨率上采样图像lr↑进行特征提取并得到相应的纹理特征，分别记为v、k、q，其中，所述可学习的纹理提取器lte包含4个c2f模块和4个池化层，p4层特征经过上采样之后与p3层特征融合得到m1特征，m1特征再次经过上采样与p2层特征融合得到m2特征；所述相关性嵌入模块用于评估高分辨率的参考图像和低分辨率图像之间的纹理相关性；所述硬注意力模块用于根据相似度ri，j计算出每个q中特征块在k中最相似的位置块，并记录在硬注意力图h上，之后，利用所述硬注意力图h获得迁移高频纹理特征图t；所述软注意力模块用于根据相似度ri，j计算出每个q中特征块在k中最相似的位置块的相似度并记录在软注意力图s上；特征输出模块，用于将迁移高频纹理特征图t、软注意力图s、低分辨率图像的特征f结合，得到输出特征；
4、s2：利用所述训练好的图像超分辨率局部重构模型对输入的低分辨率图像进行重构，得到对应的高分辨率图像。
5、优选，训练集和测试集的获取方法如下：
6、获取auair2019数据集中的大量图像，作为高分辨率的参考图像ref；
7、采用双三次插值算法对所述高分辨率的参考图像ref进行处理，得到与所述高分辨率的参考图像ref对应的低分辨率图像lr；
8、对所述低分辨图像lr进行上采样，得到低分辨率上采样图像lr↑，对所述参考图像ref进行相同因子4倍的双三次下采样和上采样，得到与低分辨率图像lr上采样域一致的先下采样再上采样后的参考图像ref↓↑；
9、将处理后的图像分为训练集和测试集。
10、进一步优选，训练集和测试集的获取方法还包括对图像数据进行增强的步骤。
11、进一步优选，高分辨率的参考图像和低分辨率图像之间的纹理相关性的评估方法如下：
12、s11：将q、k分割成多个小片段并将这些片段转换为向量，其中，q表示从低分辨率上采样图像lr↑中提取的纹理特征，k表示从参考图像ref↓↑中提取的纹理特征；
13、s12：使用归一化内积计算q，k中的任意两个小片段向量之间的余弦相似度，其中，q中第i个小片段与k中第j个小片段之间的相似度ri，j通过下式计算：
14、
15、进一步优选，硬注意力图计算公式如下：
16、
17、迁移高频纹理特征图t的计算公式如下：
18、
19、式中，hi为硬注意力图h中的第i个位置的值，由相似度ri，j得出，ti表示迁移高频纹理特征图t中第i个位置的值，该值是从v的第hi个位置选择的，其中，v表示从参考图像ref中提取的纹理特征。
20、进一步优选，软注意力图计算公式如下：
21、
22、式中，si表示软注意力图s的第i个位置的值。
23、进一步优选，输出特征fout的公式如下：
24、fout＝f+conv(concat(f，t))⊙s；
25、式中，fout表示合成的输出特征，conv和concat分别代表卷积层和连接操作，符号⊙表示特征图之间的逐元素乘法，f表示从低分辨率图像lr中得到的浅层提取特征。
26、进一步优选，所述图像超分辨率局部重构模型还包括跨尺度特征集成模块，用于实现多尺度图像重建，采用堆叠纹理变换技术，实现1倍、2倍和4倍放大比例的纹理恢复，其中，跨尺度方式堆叠的纹理变换器由多个c2f模块、上采样模块以及一个1x1卷积组成，首先纹理变换器通过c2f并进行2倍上采样的分支与纹理变换器直接2倍上采样的分支融合，对融合后的特征再经过c2f并进行2倍上采样与纹理变换器经过2次2倍上采样的分支融合，对融合后的特征经过c2f跟1x1卷积实现了1倍、2倍和4倍放大比例的纹理恢复。
27、进一步优选，训练过程中，采用超分局部损失函数，以此保证模型在反向传播过程中更关注特定目标的超分效果，其中，所述超分局部损失函数计算公式如下：
28、loverall＝λreclrec+λadvladv+λperlper；
29、式中，loverall表示局部整体损失，lrec表示局部重建损失，ladv表示局部对抗损失，lper表示局部感知损失，λrec、λadv、λper表示对应的权重系数；
30、其中，局部重建损失的计算公式如下：
31、
32、其中，isr是预测的超分图像，ihr是真实的超分图像，imask是目标掩码图像，(c，h，w)是真实的超分图像的尺寸大小；
33、局部感知损失的计算公式如下：
34、
35、其中，表示vgg模型第i层的特征图，(ci，hi，wi)表示该层特征图的形状，isr是预测的sr图像，在感知损失中的第二部分是传递感知损失，其中，表示从lte中第j层提取的纹理特征图，(cj，hj，wj)表示该层的形状，t是传递的hr纹理特征。
36、进一步优选，训练过程中，使用一阶动量动力β1＝0.9、二阶动量动力β2＝0.999、β＝1e-8的adam优化器，学习率为1e-4；设定的迭代次数为50个epoch。
37、本发明提供的基于参考图像的超分辨率局部重构方法，首先，构建一个可学习的纹理提取器，旨在通过端到端训练过程动态更新参数，有效地恢复和增强图像放大过程中的细节与纹理；其次，构建一个相关性嵌入模块来计算低分辨率lr和参考图像ref之间的相关性。通过挖掘这些相似的高质量纹理信息，该模块能够显著改善目标图像的纹理细节，实现其质量的提升；然后，构建一个硬注意力模块和一个软注意力模块，硬注意力模块通过专注处理图像中的关键区域，精确地提升细节恢复的准确度；而软注意力模块则通过平滑分配注意力权重，确保图像细节的全面性和自然过渡，这两种模块的结合优化了参考图像中高分辨率特征到低分辨率特征的转移与融合过程。最后，构建一个跨尺度特征集成模块来堆叠纹理转换器，使得模型在多个尺度上有效的对特征进行学习，确保了在不同分辨率层次上的图像质量都得到显著提升。本发明利用深度学习神经网络去解决小目标、低分辨率图像的检测和识别问题；通过超分辨率模型从低分辨率图像获取到高分辨率图像，小目标图像获取到中大目标图像。
1.一种基于参考图像的超分辨率局部重构方法，其特征在于，包括如下步骤：
2.根据权利要求1所述基于参考图像的超分辨率局部重构方法，其特征在于：
3.根据权利要求1所述基于参考图像的超分辨率局部重构方法，其特征在于：
4.根据权利要求1所述基于参考图像的超分辨率局部重构方法，其特征在于：高分辨率的参考图像和低分辨率图像之间的纹理相关性的评估方法如下：
5.根据权利要求1所述基于参考图像的超分辨率局部重构方法，其特征在于：
6.根据权利要求1所述基于参考图像的超分辨率局部重构方法，其特征在于：软注意力图计算公式如下：
7.根据权利要求1所述基于参考图像的超分辨率局部重构方法，其特征在于：输出特征fout的公式如下：
8.根据权利要求1所述基于参考图像的超分辨率局部重构方法，其特征在于：所述图像超分辨率局部重构模型还包括跨尺度特征集成模块，用于实现多尺度图像重建，采用堆叠纹理变换技术，实现1倍、2倍和4倍放大比例的纹理恢复，其中，跨尺度方式堆叠的纹理变换器由多个c2f模块、上采样模块以及一个1x1卷积组成，首先纹理变换器通过c2f并进行2倍上采样的分支与纹理变换器直接2倍上采样的分支融合，对融合后的特征再经过c2f并进行2倍上采样与纹理变换器经过2次2倍上采样的分支融合，对融合后的特征经过c2f跟1x1卷积实现了1倍、2倍和4倍放大比例的纹理恢复。
9.根据权利要求1所述基于参考图像的超分辨率局部重构方法，其特征在于：训练过程中，采用超分局部损失函数，以此保证模型在反向传播过程中更关注特定目标的超分效果，其中，所述超分局部损失函数计算公式如下：
10.根据权利要求1所述基于参考图像的超分辨率局部重构方法，其特征在于：
