本文件涉及计算机，尤其涉及一种基于增强先验和混合注意力的图像去雨方法及装置。
背景技术：
1、在当今智能时代，与人工智能结合的应用迅猛发展，其中图像处理技术尤为突出，无论是图像去噪，图像识别，还是图像风格迁移，都在计算机视觉的主干上生根发芽，枝繁叶茂。然而，现实中获得的图像往往不适合进行图像处理。图像缺损、图像模糊、图像噪点等问题都可能影响图像的质量。在大量真实场景中，天气条件始终是一个不可忽视的挑战。在拍摄或观察图像时，雨滴可能成为一个常见的干扰源，导致图像模糊、细节丢失甚至无法准确识别目标。因此，图像去雨技术的研究和发展对于提高图像质量、改善图像分析和识别的准确性具有重要意义。
2、在图像去雨领域，研究者们一直在探索各种算法和方法来改善图像质量。然而，随着技术的不断发展，传统的图像恢复方法在保证图像质量的同时，往往伴随着系统复杂度的增加。因此，有必要提出一种新的方法来平衡图像复原的质量和系统复杂度之间的关系。
3、基于神经网络的方法为图像去雨和其他图像恢复任务带来了新的思路。通过构建多种神经网络或多层级神经网络，并采用编码器-解码器进行分层，逐步从图像中恢复上下文信息和空间细节，从而获得潜在的高质量图像。此外，有的网络还采用了自适应特征融合机制和选择性多头注意力机制，以便实现信息交换和保留关键信息的功能。通过这种紧密互连的层次结构，该方法在多项图像恢复任务中展现出了强大的性能提升。
4、图像去雨技术的研究不仅对于改善用户在不同天气条件下的图像浏览体验具有重要意义，还可以为无人机、机器人等视觉感知系统的性能提升提供支持，从而提高图像分析和物体识别的准确性。同时，混合层次结构网络的提出为图像恢复领域带来了新的思路，为解决图像恢复中的质量与复杂度平衡问题提供了有益的参考。在未来的研究中，可以进一步探索和完善这一方法，以应对不断变化的挑战，推动图像恢复技术的发展与应用。
5、国内外现有的研究主要针对与先验特征，特征抓取模块，训练路径和visiontransformers(vit)架构进行研究。
6、1、基于先验特征。
7、研究主要针对目标雨图在每轮迭代训练过程中提供的先验特征进行改进，以进一步提升每轮的训练效果。在雨图中，雨作为背景层对图像的主要内容造成了影响。物理上，雨图的通道值与背景图通道值之间的差距更为显著，而先验特征能够有效引导神经网络学习这种差异。已有多项研究致力于此问题。例如，yu li等人利用高斯混合模型(gaussianmixture model,gmm)，将图像背景部分表示为多个高斯分布的混合，并利用神经网络层之间的特殊编码对gmm参数进行估计和优化。另一方面，yu luo等人采用判别稀疏编码，通过最小化重构误差和最大化类别间差异的方式学习数据的稀疏表示，从而使得背景的重构误差最小化且类别间的差异最大化。此外，shuhang gu等人提出了联合卷积分析与稀疏表示编码，将编码与卷积网络结合，取得了对雨图的良好效果。
8、2.基于不同特征抓取模块。
9、通过设计不同的特征提取模块，图像去雨网络能够有效地提取雨图的特征。这些特征提取模块主要采用以卷积神经网络(convolutional neural network,cnn)为代表的图像去雨模型。例如，研究通过建立雨图与无雨图之间的映射关系，学习到雨纹的特征。利用复杂的神经网络建立雨纹和实际图像之间的对应关系，最终通过减去雨痕特征来实现去雨效果。这类方法创造了许多具有创新性的去雨网络。其中，最具代表性的是深度卷积神经网络(dcnn)，实现了从雨纹到清晰图像的端到端映射。循环压缩激励残差网络引入了残差网络来处理去雨任务，逐步优化残差网络采用不同的掩膜方式作为先验，提供雨纹密度等信息。除此之外，还有扩张残差密集模型和雨卷积字典模型等网络。
10、3、基于不同的训练路径。
11、研究通过改进底层模型架构，并设计不同的训练路径，在训练的不同阶段对特征进行融合等方法，可显著提升大多数计算机视觉任务的效果，包括图像修复。在神经网络的训练过程中，通过不同的反馈和融合机制，将原本线性前后反馈的神经网络转变为更加强大的形式。例如，通过对阶段网络之间的残差学习、通道之间的密集连接、以及层次之间的前后串联，可以实现多阶段框架下的路径并联。通过门控机制，将不同路径以及一条路径前后的训练特征进行融合，都能提高最终训练结果的性能。
12、4、基于vision transformers(vit)架构。
13、vision transformers(vit)，在拥有足够多数据进行预训练时，能够取得比卷积神经网络更好的效果。其主要思想是将图像拆解成若干个不等的尺寸相等的特征向量。类似的模型设计：多层感知器混合模型、生成式多层感知模型、门控前馈网络、傅里叶神经网络，这些模型对每个特征块的全局操作做了简化处理。此外，vit在处理高质量图像，也有特定的网络方案。
14、现有的网络架构如图1所示。网络主要采取多层级并联，与多个子模块串联的形式。残差神经网络通道通过通道变换与下一层级之间并联，同一层级多个残差神经网络采取串联的模式。每一个残差网络通道的结构如图2所示。
15、每一个残差神经网络通道，由三个关键模块组成：先验模块、特征提取模块和特征融合模块。这样网络架构会出现几个问题：首先，先验特征图像的质量往往不高。在以往的研究中，先验特征通常由深度卷积神经网络生成，或通过分析雨图和无雨图的色彩对比度特性生成。然而，这些方法生成的先验图像容易受到噪点与图像自身结构的影响，导致先验质量较差，特征提取的效果不佳，从而不利于后续的特征处理与特征融合。具体存在以下三点不足：
16、1、噪点影响：
17、生成先验特征图像的方法容易受到噪点的干扰。例如，使用深度卷积神经网络生成的先验图像，虽然可以提取出一些重要特征，但也会引入网络训练过程中积累的噪点。
18、2、色彩对比度不足：
19、通过分析雨图和无雨图的色彩对比度特性生成的先验图像，其质量依赖于色彩信息的准确性和对比度的明显程度。在复杂的场景中，雨图和无雨图的色彩对比度可能不明显，导致生成的先验图像质量不高。
20、3、先验特征生成方法的局限性：
21、许多传统的方法在生成先验特征图像时，使用简单的统计分析或基于经验的规则，无法充分捕捉图像的细节和复杂结构。
22、其次，特征提取模块多采用通道注意力机制，以提取被雨纹掩盖的物体特征。然而，单一的通道注意力机制往往忽略了全局感受野，即对图像的整体上下文信息的捕捉能力有限。这种局限性会对图像去雨产生不利影响，因为有效的去雨处理需要全面理解图像中的雨纹和物体特征。具体存在以下三点不足：
23、1、局部性强：
24、通道注意力机制主要关注不同特征通道的权重分配，对每个通道进行独立处理。这种方式缺乏对图像全局信息的整合，导致网络在处理雨纹时，只能依靠局部信息进行判断，可能会忽略整体雨纹的结构和模式。图像中的雨纹无法被全面有效地去除，残留雨纹可能在去雨后的图像中仍然明显可见。
25、2、上下文理解不足：
26、通道注意力机制对图像的整体上下文信息捕捉能力有限，只能在单个通道内进行特征增强。缺乏对图像全局上下文的理解，网络难以识别雨纹和物体特征之间的全局关系。去雨效果不稳定，可能导致图像中的物体特征不完整，或者误将物体特征误识为雨纹而去除。
27、3、细节保留不充分：
28、单一通道注意力机制可能会在增强某些特征通道的同时，抑制其他通道中的细节信息。在对细节保留不充分的情况下，重要的图像细节可能会被忽略或损失。去雨后的图像可能显得模糊，细节表现不佳，影响图像的视觉质量和准确性。
技术实现思路
1、本发明的目的在于提供一种基于增强先验和混合注意力的图像去雨方法及装置，旨在解决现有技术中的上述问题。
2、本发明提供一种基于增强先验和混合注意力的图像去雨方法，包括：
3、对输入图像的特征图进行色彩通道分析，计算各通道的色彩差异，获取图像在色彩维度上的对比度信息，基于所述对比度信息的大小确定各通道的变化范围，识别出输入图像中的显著区域；使用高斯滤波核对特征图进行第一次滤波，将第一次滤波后的特征图与原始特征图进行加权处理并合并，得到合并后的特征图，使用中值滤波核对合并后的特征图进行第二次滤波；采用sobel边缘提取算子对经过第二次滤波处理后的特征图进行边缘提取，获得输入图像中的明亮边缘和梯度信息；
4、根据所述输入图像中的显著区域、输入图像中的明亮边缘和梯度信息，对经过二次滤波和边缘提取处理后的特征图进行加权平均融合，生成最终的先验图像即输入特征图；
5、将所述输入特征图的一部分经过全局平均池化层处理，提取出通道注意力所需的信息，对全局平均池化后的输入特征图进行全连接层处理，并通过逐点卷积和深度可分离卷积处理，增强通道特征的表达能力，通过激活函数计算得到通道注意力；将所述输入特征图的另一部分进行组归一化处理，并基于一系列线性变换和sigmoid激活函数，通过滑动窗口注意力模块计算空间注意力；
6、通过多头注意力模块处理将通道注意力和空间注意力进行拼接，将处理后的输入特征图进行通道重排，得到最终输出。
7、本发明提供一种基于增强先验和混合注意力的图像去雨装置，包括：
8、滤波提取模块，用于对输入图像的特征图进行色彩通道分析，计算各通道的色彩差异，获取图像在色彩维度上的对比度信息，基于所述对比度信息的大小确定各通道的变化范围，识别出输入图像中的显著区域；使用高斯滤波核对特征图进行第一次滤波，将第一次滤波后的特征图与原始特征图进行加权处理并合并，得到合并后的特征图，使用中值滤波核对合并后的特征图进行第二次滤波；采用sobel边缘提取算子对经过第二次滤波处理后的特征图进行边缘提取，获得输入图像中的明亮边缘和梯度信息；
9、加权平均融合模块，用于根据所述输入图像中的显著区域、输入图像中的明亮边缘和梯度信息，对经过二次滤波和边缘提取处理后的特征图进行加权平均融合，生成最终的先验图像即输入特征图；
10、注意力计算模块，用于将所述输入特征图的一部分经过全局平均池化层处理，提取出通道注意力所需的信息，对全局平均池化后的输入特征图进行全连接层处理，并通过逐点卷积和深度可分离卷积处理，增强通道特征的表达能力，通过激活函数计算得到通道注意力；将所述输入特征图的另一部分进行组归一化处理，并基于一系列线性变换和sigmoid激活函数，通过滑动窗口注意力模块计算空间注意力；
11、拼接重排模块，用于通过多头注意力模块处理将通道注意力和空间注意力进行拼接，将处理后的输入特征图进行通道重排，得到最终输出。
12、本发明实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述基于增强先验和混合注意力的图像去雨方法的步骤。
13、本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述基于增强先验和混合注意力的图像去雨方法的步骤。
14、采用本发明实施例，从先验信息和注意力机制两个方面进行优化，显著提高了图像去雨效果，尤其是在峰值信噪比(psnr)方面的性能提升显著。
1.一种基于增强先验和混合注意力的图像去雨方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述高斯滤波核的尺寸为5×5，所述第一次滤波的标准差为0.5，所述中值滤波核的尺寸为3×3。
3.根据权利要求1所述的方法，其特征在于，通过滑动窗口注意力模块计算空间注意力具体包括：
4.根据权利要求1所述的方法，其特征在于，将处理后的输入特征图进行通道重排，得到最终输出具体包括：
5.一种基于增强先验和混合注意力的图像去雨装置，其特征在于，包括：
6.根据权利要求5所述的装置，其特征在于，所述高斯滤波核的尺寸为5×5，所述第一次滤波的标准差为0.5，所述中值滤波核的尺寸为3×3。
7.根据权利要求5所述的装置，其特征在于，所述注意力计算模块具体用于：
8.根据权利要求5所述的装置，其特征在于，所述拼接重排模块具体用于：
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述的基于增强先验和混合注意力的图像去雨方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至4中任一项所述的基于增强先验和混合注意力的图像去雨方法的步骤。
