本发明涉及图像复原，具体涉及基于联合条件扩散模型的混合退化图像复原方法。
背景技术：
1、恶劣天气如暴雨、雾霾、大雪等，严重降低了图像的成像质量，直接影响着下游视觉任务的性能。因此，图像复原作为计算机视觉的底层任务，得到了学者们的广泛关注。当前，针对单一已知退化类型的图像复原模型主要分为独立模型和统一模型。其中，前者需要针对每种退化类型设计相应的网络结构；后者通过建立统一的网络结构实现对多种退化类型图像的恢复，虽然减少了训练的冗余度，但该网络每次只能处理其中一种退化。由于在未知的恶劣天气条件下，退化因素复杂多样，上述仅适用于单一退化类型的图像复原模型难以有效恢复图像。因此，一些研究者放宽对退化类型的先验假设，利用盲源图像分解方法或条件扩散模型构建基于混合退化类型的图像复原方法，进一步提高恢复后的图像质量。
2、现有方法严重依赖于对退化类型的先验估计，当面对具有未知退化类型的场景时，它们的恢复性能都会下降。尽管基于盲源图像分解的方法试图利用多个解码器分解各种退化因素，进一步实现对图像的复原，但该方法依赖于对退化掩码的准确估计，否则会影响图像复原任务的有效性。基于条件扩散模型的方法虽然可以实现较高分辨率的图像恢复，但是由于扩散模型生成能力较强，可能会产生与原始图像无关的新内容，尤其在处理严重退化的图像时，通常会导致纹理和细节方面的信息丢失。此外，仅仅依靠退化图像作为扩散模型的条件可能无法提供充分的引导。
3、因此，迫切需要设计一种针对混合退化的图像复原方法，在退化类型未知且复杂多样的情况下仍然能实现鲁棒准确的图像恢复性能。
技术实现思路
1、有鉴于此，本发明提供了基于联合条件扩散模型的混合退化图像复原方法，能够在退化类型未知且复杂多样的情况下仍然能实现鲁棒准确的图像恢复性能。
2、为达到上述目的，本发明的技术方案包括基于联合条件扩散模型的预复原阶段和基于不确定性估计网络的微调复原阶段；
3、预复原阶段包括如下步骤：
4、a1：通过基于大气散射模型的统一物理退化模型随机生成退化图像。
5、a2：利用退化掩码预测网络对图像的退化掩码进行预测，得到预测掩码。
6、a3：将退化图像和预测掩码进行通道拼接，其作为扩散模型的联合条件引导图像的去噪过程，通过设定总迭代步数，迭代执行去噪过程，得到初步复原后的图像。
7、微调复原阶段包括如下步骤：
8、通过微调网络还原图像细节，并利用不确定性估计网络计算初步复原图像的偶然不确定性和认知不确定性，进一步利用不确定性增强对微调网络中特征的表征，经过特征增强后，得到最终复原后的图像。
9、进一步地，a1，具体为：
10、基于大气散射模型的统一物理退化模型为：
11、i(x)＝ζn(τ(j(x),t(x)),m(x))
12、其中m(x)表示天气类型引发的物理退化的二值掩码，x表示像素，t(x)表示透射率；n＝0,1,2,3表示退化类型的个数；函数和τ(·,·)函数和τ(·,·)将输入图像与全局大气光a结合，具体为如下函数:
13、
14、τ(a,b)＝a⊙b+a⊙(1-b)
15、其中a和b是输入图像。
16、进一步地，m(x)包含雪的位置对应的二值掩码mr(x)、雨滴的位置对应的二值掩码md(x)和雨线对应的二值掩码ms(x)。
17、进一步地，利用退化掩码预测网络对图像的退化掩码进行预测，得到退化二值掩码，退化掩码预测网络由3个cbr块，2个1×1卷积块，6个resblock块，1个dcbr块和1个sigmoid块组成。
18、其中3个cbr块分别为cbr#1、cbr#2以及cbr#3；cbr块由卷积层、批量归一化层和激活函数层顺次连接组成。
19、2个1×1卷积块分别为1×1卷积块#1和1×1卷积块#2。
20、6个resblock块分别为resblock#1～resblock#6；resblock块包含三次重复连接的三层结构以及一个加法器，其中加法器的输入为最后一个三层结构的输出和原始输入，三层结构由批量归一化层、激活函数层和卷积层组成；
21、dcbr块由反卷积层、批量归一化层和激活函数层顺次连接组成。
22、其中cbr#1、cbr#2、1×1卷积块#1、resblock1～resblock6、1×1卷积块#2、cbr#3、dcbr、sigmoid块按顺序链接组成退化掩码预测网络。
23、进一步地，a3具体过程为：
24、将退化后的图像和退化二值掩码进行通道拼接，作为联合条件共同输入到联合退化条件扩散模型中，其中，扩散模型包括前向过程和反向过程。
25、前向过程即扩散过程，是一个固定的马尔可夫链，根据方差β1,...,βt逐步添加噪声来破坏初始图像j(x)，其中初始数据分布可视为j0～q(j0)，在连续加入噪声t次后，得到的数据分布jt～q(jt)近似为正态分布，前向扩散过程建模为：
26、
27、
28、其中β1,...,βt分别为第1～t时刻的噪声方差，j0～jt分别为第0～t时刻的数据分布，i为标准向量，q(jt|jt-1)为概率函数，j1:t为从1～t时刻所有数据分布的组合，n(；)为正态分布。
29、对于前向过程，对任意隐变量j1,...,jt进行封闭式的采样，即通过利用αt＝1-βt和对前向扩散过程建模进行变形，将在已知初始图像j0时任意时刻t的图像建模为：
30、
31、反向过程即去噪过程，根据先验q(jt)＝n(jt；0,i)逐步去噪，进而恢复受干扰图像的期望的数据分布；联合分布pθ(j0:t)用数学模型表示如下：
32、
33、pθ(jt-1|jt)＝n(jt-1；μθ(jt,t),σθ(jt,t))；
34、在学习模型中引入联合条件退化图像i(x)和预测掩码m(x)，转换得到条件去噪过程为：
35、
36、为了引导条件去噪过程向过渡到预期输出，训练过程通过优化函数逼近器∈θ(jt,i(x),m(x),t)来进行，通过该逼近器得到均值μθ，并应用随机梯度下降来调整∈θ；去噪过程的训练目标函数l如下：
37、
38、其中e表示期望，∈θ表示用于噪声预测的神经网络unet，预测的噪声标签为∈t，这样反向过程逐步循环，就可以从t时刻的图像jt推测t-1时刻的图像jt-1，根据以下贝叶斯公式推导为：
39、
40、经过逐步去噪，得到初步复原图像。
41、进一步地，微调复原阶段，具体为：
42、利用微调网络还原图像细节，并引入不确定性估计网络对这两种噪声进行建模，首先输入特征经过卷积层后传送至两个不同的分支包括顶部的分支和底部的分支；一方面，顶部的分支通过一个附加的卷积层和一个sigmoid激活函数层进一步处理特征的映射，负责估计偶然不确定性ua；另一方面，底部的分支包括对输入特征进行多次采样；在每次采样中，随机屏蔽一定比例的通道；每个分支的采样结果通过一个共享的卷积层和一个tanh激活函数后，通过对这些结果求取平均值，得到平均预测，作为恢复结果ja(x)；认知不确定性ue则通过求取方差得到，每个像素点的预测不确定度通过偶然不确定性和认知不确定性相加近似得到：u≈ua+ue。
43、然后，利用不确定性估计网络来增强提取的特征，具体地，假设在微调网络的第i尺度的特征提取阶段，令输入特征记为提取的特征记为利用不确定性估计网络估计输入特征的不确定性映射为ui。
44、则第i尺度经过增强后的特征表示为：
45、
46、经过特征增强后，得到最终复原后的图像jf(x)。
47、进一步地，针对预复原阶段和微调复原阶段进行训练，按照如下方式设定训练阶段的总损失函数：
48、使用均值方差损失函数l1比较清晰图像j(x)和复原图像jf(x)在像素空间的差异，重构损失定义为：
49、微调复原阶段中的不确定性感知损失表示为：其中ja(x)为近似的恢复结果，是在不确定估计过程中形成的，表示为：其中n为像素点数，α和β为权重因子。
50、m为尺度总数，μx、μy和σx、σy分别为x和y的均值和标准差，参数βm和γm表示两个成分在每个尺度中的相对重要性，除此之外，c1和c2为两个常数。
51、通过结合重构损失和不确定性感知损失训练阶段的总损失函数表示为：λ为对应的系数。
52、有益效果：
53、1、本发明提供了基于联合条件扩散模型的混合退化图像复原方法，是一种两阶段式混合退化图像复原方法，包括基于联合条件扩散模型的预复原阶段和基于不确定性估计网络的微调复原阶段。基于物理大气散射模型，建立了混合天气退化模型，该模型可作为产生混合天气退化的基础模型。在初步复原阶段，构建了基于物理约束的联合条件扩散模型，该模型引入退化图像和退化掩码作为引导图像恢复过程的条件。在微调复原阶段，利用不确定性估计模块增强对于图像颜色和细节的恢复。相比于针对单一已知退化类型的图像复原方法，本方法无需对退化类型做出先验假设；且相比于盲源图像分解方法，本方法无需明确地识别或分离单个退化因素，有效解决了当退化类型未知且混合多样时的图像复原问题。
54、2、相比于利用条件扩散模型构建的图像复原方法，本方法引入物理约束作为联合条件来指导和增强恢复过程。通过引入退化二值掩模，扩散模型可以更加关注图像的特定退化区域，显著提升了图像复原的性能。
1.基于联合条件扩散模型的混合退化图像复原方法，其特征在于，包括基于联合条件扩散模型的预复原阶段和基于不确定性估计网络的微调复原阶段；
2.如权利要求1所述的基于联合条件扩散模型的混合退化图像复原方法，其特征在于，所述a1，具体为：
3.如权利要求1所述的基于联合条件扩散模型的混合退化图像复原方法，其特征在于，所述m(x)包含雪的位置对应的二值掩码mr(x)、雨滴的位置对应的二值掩码md(x)和雨线对应的二值掩码ms(x)。
4.如权利要求1所述的基于联合条件扩散模型的混合退化图像复原方法，其特征在于，所述利用退化掩码预测网络对图像的退化掩码进行预测，得到退化二值掩码，所述退化掩码预测网络由3个cbr块，2个1×1卷积块，6个resblock块，1个dcbr块和1个sigmoid块组成；
5.如权利要求1～4任一所述的基于联合条件扩散模型的混合退化图像复原方法，其特征在于，所述a3具体过程为：
6.如权利要求5所述的基于联合条件扩散模型的混合退化图像复原方法，其特征在于，所述微调复原阶段，具体为：
7.如权利要求6所述的基于联合条件扩散模型的混合退化图像复原方法，其特征在于，针对预复原阶段和微调复原阶段进行训练，按照如下方式设定训练阶段的总损失函数：
