本发明涉及计算机视觉，特别涉及一种基于扩散模型的双分支图像高倍数超分辨率增强方法。
背景技术：
1、图像作为视觉信息的核心载体，具备存储、收集和传输丰富信息的能力。对相同画面的图像而言，图像分辨率直接关系到细节信息的丰富程度，进而影响到实际应用中能够获取的有效信息量。然而，在图像采集过程中，光学成像系统往往会受到多种不利因素的影响，如环境噪声、设备性能限制等，导致图像质量受损，表现为模糊、分辨率不足或噪声干扰，严重降低了图像所含信息的价值和实用性。图像超分辨率增强方法是指通过算法处理，基于低分辨率图像生成对应的高分辨率图像的方法，通过图像超分辨率增强方法可以很好地弥补图像采集过程中图像质量下降对信息识别的影响，是一种相对简单且低成本的方式。尽管如此，以往的图像超分辨率增强方法往往存在重建精度低、数据特征利用不充分、以及纹理细节丢失的问题。发展高精度的图像超分辨率增强方法，不仅可以提高图像的视觉清晰度，还能够增强图像中的细节信息，从而在各种视觉分析任务中提供更加可靠的数据支持，将在生物医学、安防监控、图像处理、模式识别、计算机视觉等领域产生巨大的应用价值。
2、随着深度学习的持续进步，图像超分辨率领域迎来了新的发展机遇，出现了基于卷积神经网络、生成对抗网络、transformer、归一化流、扩散模型等深度学习方法的图像超分辨率方法。特别地，基于扩散模型的超分辨率方法，因其在解决图像平滑、模式崩溃以及存储空间占用等问题上的显著优势而受到关注。但仍存在处理小且暗淡目标时的不足，特别是在高放大倍数下的目标重建问题，以及超分辨率图像中边缘和纹理信息的缺失问题。
技术实现思路
1、针对现有技术的缺陷，本发明在单图像超分辨率扩散概率模型(简称：srdiff)的基础上引入交叉注意力模块和边缘重建分支，通过全面利用图像的全局与局部信息，特别是边缘信息，显著提升了高放大倍数下图像的超分辨率质量。
2、为了达到上述目的，本发明提出了一种基于扩散模型的双分支图像高倍数超分辨率增强方法，包括如下步骤：
3、(1)收集高分辨率图像集，使用降采样方法获得每一个所述高分辨率图像对应的低分辨率图像，形成一对图像，得到训练数据集；
4、(2)构建基于扩散模型的双分支超分辨率增强模型并训练，得到训练好的双分支超分辨率增强模型，所述双分支超分辨率增强模型以条件引导的去噪扩散模型为基础，在其条件噪声预测网络中引入交叉注意力模块和边缘重建分支；
5、(3)获取待重建的低分辨率图像输入所述训练好的双分支超分辨率增强模型，得到高分辨率图像。
6、进一步的，所述双分支超分辨率增强模型以条件引导的去噪扩散模型为基础，将预测高分辨率图像yh与通过双三次插值上采样的输入的低分辨率图像之间的差值up(yl)表示作为所述双分支超分辨率增强模型输入的残差图像y0，条件x是所述输入的低分辨率图像经过lr编码器的输出；
7、定义以下结构：
8、卷积块，由一个二维卷积层、组归一化层和mish激活函数构成；
9、基本结构，由2个残差块组成，每个残差块由2个所述卷积块构成；
10、所述双分支超分辨率增强模型具体包括前向扩散过程和逆向推理过程；
11、所述前向扩散过程就是向残差图像y0逐渐加入高斯噪声直到变成完全高斯噪声的过程，即通过t步逐渐加入高斯噪声，构造出长度为t的固定马尔可夫链，马尔可夫过程表示为：
12、
13、前向扩散表示为：
14、
15、其中：βt∈(0，1)是高斯噪声在t次迭代中的方差；
16、所述逆向推理过程就是去噪的过程，需要学习条件分布pθ(yt-1|yt，x)进行去噪；即从高斯噪声到和所述残差图像y0的反向马尔可夫过程，反向马尔可夫过程为：
17、
18、逆向推理表示为：
19、
20、其中：μθ为条件分布pθ(yt-1|yt,x)的均值，为该分布的方差，为简化训练目标，让其等于正向过程的方差给出的默认值，即βt；fθ为训练好的所述条件噪声预测网络输出的预测噪声；
21、所述条件噪声预测网络以所述低分辨率图像信息为条件，预测在每个扩散时间步处添加的噪声，其输入为所述逆向推理过程中的第t步残差图像yt和所述低分辨率图像，输出为预测噪声；包括噪声预测分支和边缘重建分支；其中，所述噪声预测分支以u-net为主体，以扩散时间步t、所述lr编码器的输出以及yt作为输入，得到噪声预测分支预测出的噪声信息；所述边缘重建分支包括4个边缘重建模块，以所述lr编码器的输出经过sobel算子的计算得到初始边缘作为输入，每个边缘重建模块还引入所述噪声预测分支u-net每个扩张步骤的输出，得到边缘重建分支重建出的边缘信息；所述边缘信息经过sigmoid函数调整后与所述噪声信息进行点乘，并与所述噪声信息点加进行融合后，应用一个所述卷积块生成第t步所述预测噪声fθ；将其代入所述逆向推理过程得到yt-1，经过多次所述条件噪声预测网络预测噪声并去噪后得到输出的最终的残差图像，与之前通过双三次插值上采样的输入的所述低分辨率图像相加得到最终的超分辨率结果。
22、进一步的，所述噪声预测分支包括依次连接的浅层特征提取结构、收缩结构、中间结构以及扩张结构；
23、所述浅层特征提取结构，将输入的第t步所述残差图像yt通过一个所述卷积块完成特征提取，并和所述lr编码器的输出按通道进行拼接，将拼接后的结果输入所述收缩结构；
24、所述收缩结构由4个所述基本结构组成，每个所述基本结构后均连接一个下采样层；所述中间结构由1个所述基本结构构成，其每个残差块后均连接1个所述交叉注意力模块；所述扩张结构由4个所述基本结构组成，每一个所述基本结构后均连接一个上采样层；
25、所述时间步长t使用transformer中提出的位置编码进行编码，其输出同时给到所述收缩结构、中间结构以及扩张结构；所述浅层特征提取结构的输出依次经过收缩结构、中间结构以及扩张结构；同时所述扩张结构中每个所述基本结构的输入还拼接来自所述收缩结构的相应特征映射作为输入；所述扩张结构的输出再经过一个所述卷积块生成第t步的所述预测噪声。
26、进一步的，所述交叉注意力模块包括2个分支；
27、第一分支，所述交叉注意力模块的输入依次经过所述第一内部块自注意力块、交叉块自注意力块和第二内部块自注意力块；第二分支所述交叉注意力模块的输入经过扩张块自注意力块；且每一个模块后均连接一个多层感知机模块；
28、每一个模块的输出均与输入相加后被送入下一个模块；
29、最后所述交叉注意力模块的输入、第一分支的输出和第二分支的输出相加后的输出作为所述交叉注意力模块的输出；
30、所述第一内部块自注意力块和第二内部块自注意力块均由层归一化层和内部注意力层组成，所述交叉块自注意力块由层归一化层与交叉注意力层组成，所述扩张自注意力块由层归一化层和扩张注意力层组成，所述多层感知机模块由归一化层和多层感知机组成；
31、所述交叉注意力模块将输入的特征图划分为多个块，所述第一内部块自注意力块和第二内部块自注意力块为不同通道特征图相同位置块内部逐像素自注意力；所述交叉块自注意力块为特征图不同位置块之间的注意力，所述扩张块自注意力块为不同通道特征图相同位置块与其他块部分交叉的注意力；
32、所述交叉注意力模块可用公式表示如下：
33、
34、
35、其中：ipsa表示内部块自注意力；cpsa表示内部块自注意力；epsa表示扩张块自注意力；mlp表示多层感知机；ln表示层归一化；表示所述交叉注意力模块的输入，表示所述交叉注意力模块的输出。
36、进一步的，所述边缘重建模块结构由门控卷积块和偏微分方程启发网络结构相连构成；
37、所述偏微分方程启发网络结构包括若干个对称卷积块，每个所述对称卷积块将两层卷积操作的卷积核限制为反对称核，所述对称卷积块定义为fsym：
38、fsym(y)＝-ktσ(n(ku))
39、其中：k表示卷积核，σ表示激活函数，n表示归一化操作，u表示输入；
40、所述偏微分方程启发网络结构是由二阶双曲型偏微分方程启发得到；即对于第j个所述对称卷积块，其输出会与其输入的两倍相加，并与第j-1个所述对称卷积块的输入相减，作为下一个所述对称上卷积块的输入；即所述对称卷积块间的连接结构满足以下公式：
41、
42、其中：δt表示离散步长，δt＞0；j＝0，1，..，n，对应第0个～第n个所述对称卷积块，所述对称卷积块的总个数为n+1；u-1＝u0，u0为第0个所述对称卷积块的输入，即所述门控卷积块的输出；uj+1、uj、uj-1分别表示第j+1、j、j-1个所述对称卷积块的输入。
43、进一步的，选择rrdb架构作为所述lr编码器，该架构采用残差结构和多个密集的跳过连接来获取隐藏的lr图像信息。
44、本发明还提供了一种基于扩散模型的双分支图像高倍数超分辨率增强系统，包括：
45、数据集获取模块，用于收集高分辨率图像集，使用降采样方法获得每一个所述高分辨率图像对应的低分辨率图像，形成一对图像，得到训练数据集；
46、构建模型模块，用于构建基于扩散模型的双分支超分辨率增强模型并训练，得到训练好的双分支超分辨率增强模型，所述双分支超分辨率增强模型以条件引导的去噪扩散模型为基础，在其条件噪声预测网络中引入交叉注意力模块和边缘重建分支；
47、重建模块，用于将待重建的低分辨率图像输入所述训练好的双分支超分辨率增强模型，得到高分辨率图像。
48、本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的基于扩散模型的双分支图像高倍数超分辨率增强方法。
49、本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的基于扩散模型的双分支图像高倍数超分辨率增强方法。
50、本发明的有益效果：
51、本发明在srdiff的网络基础上，引入交叉注意力模块和边缘重建分支，构建了基于扩散模型的双分支网络图像超分辨率网络dual-diffsr。交叉注意力模块的引入极大地增强了网络对全局背景和局部特征的捕捉能力，尤其是在识别图像中微小且对比度较低的目标方面，这一模块通过促进不同区域间的特征交互，有效地提升了对这些难以察觉目标的定位精度。此外，边缘重建分支由多个堆叠的边缘重建模块构成，这些模块专门设计用于聚合和优化不同层次的边缘信息。通过这种设计，边缘重建分支能够最大化地利用边缘信息，显著提升了超分辨率图像的边缘清晰度和整体视觉质量。
1.一种基于扩散模型的双分支图像高倍数超分辨率增强方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于扩散模型的双分支图像高倍数超分辨率增强方法，其特征在于：所述双分支超分辨率增强模型以条件引导的去噪扩散模型为基础，将预测高分辨率图像yh与通过双三次插值上采样的输入的低分辨率图像之间的差值up(yl)表示作为所述双分支超分辨率增强模型输入的残差图像y0，条件x是所述输入的低分辨率图像经过lr编码器的输出；
3.根据权利要求2所述的基于扩散模型的双分支图像高倍数超分辨率增强方法，其特征在于：所述噪声预测分支包括依次连接的浅层特征提取结构、收缩结构、中间结构以及扩张结构；
4.根据权利要求3所述的基于扩散模型的双分支图像高倍数超分辨率增强方法，其特征在于：所述交叉注意力模块包括2个分支；第一分支，所述交叉注意力模块的输入依次经过所述第一内部块自注意力块、交叉块自注意力块和第二内部块自注意力块；第二分支所述交叉注意力模块的输入经过扩张块自注意力块；且每一个模块后均连接一个多层感知机模块；
5.根据权利要求2所述的基于扩散模型的双分支图像高倍数超分辨率增强方法，其特征在于：所述边缘重建模块结构由门控卷积块和偏微分方程启发网络结构相连构成；
6.根据权利要求2所述的基于扩散模型的双分支图像高倍数超分辨率增强方法，其特征在于：选择rrdb架构作为所述lr编码器，该架构采用残差结构和多个密集的跳过连接来获取隐藏的lr图像信息。
7.一种基于扩散模型的双分支图像高倍数超分辨率增强系统，其特征在于，包括：
8.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至6中任一项所述的基于扩散模型的双分支图像高倍数超分辨率增强方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至6中任一项所述的基于扩散模型的双分支图像高倍数超分辨率增强方法。
