本发明属于图像处理,具体涉及一种水下退化图像复原方法、系统、计算机设备及存储介质。
背景技术:
1、海洋水体不仅对于光照具有吸收和散射的作用,而且海洋水体的浑浊浓度不同时会造成不同程度的光吸收和散射。由于海洋水体对较长光波的吸收作用,通常水下退化图像呈蓝绿色调的偏色状态。同时,海洋水体对光散射作用通常会造成水下退化图像出现模糊、低对比度和短视距的问题。此外,水下环境光照度较低,被动成像时进入探测器的光通量较少,所成像整体偏暗。水下退化图像在颜色、清晰度和视距方面的退化,严重地影响了水下考古、目标探测与识别、水下搜救一系列机器视觉和人类活动,给水下场景感知和观测带来了极大地干扰。因此,亟需开发针对低照度、偏色及模糊的问题的水下退化图像复原方法,为水下目标场景清晰化感知奠定基础。
2、目前现有技术中对于水下退化图像复原大多采用的方法为:1)采用数学建模反演计算的方法实现水下退化图像复原;2)采用深度学习的方法实现水下退化图像复原。
3、采用数学建模反演计算的方法复原水下退化图像,图像复原效果与物理模型构建、透射率和大气光值估计密切相关,准确的物理模型未知参数估计较难。
4、采用深度学习的方法复原水下退化图像,一方面需要构建网络模型,而且在样本数据驱动下学习水下退化图像和清晰图像之间的映射关系,该方法通常具有一定的鲁棒性,现已发展为水下退化图像复原的主流趋势。
5、例如申请公布号为cn113781325a的专利申请文件公开了一种基于分层条件生成对抗网络的水下图像复原方法,该水下图像复原方法利用树状分层网络结构构建分层条件生成对抗网络模型,设置三个生成器和三个判别器并将其闭环连接,逐层消除水下图像噪声、雾化、模糊对水下图像的影响,构建低质量的水下图像到高质量的水下图像的分层映射。
6、申请公布号为cn117911302a的专利申请文件公开了一种基于条件扩散模型的水下低照度图像增强方法,该水下低照度图像增强方法通过对水下低照度图像进行离散小波变换,得到一组高频系数和低频全局系数,分别增强图像的纹理细节信息和整体亮度,解决了水下图像昏暗、色偏和模糊等问题。
7、基于深度学习的方法虽然可以较好地实现水下图像复原,但是深度学习的方法应用在大纵深、浑浊和光源干扰等极端环境下时,可能会出现对水下退化图像偏色矫正不到位、亮度提升不足和对比度、清晰度不高的问题。
8、综上目前现有的水下退化图像复原方法存在对水下退化图像偏色矫正不到位、亮度提升不足和对比度、清晰度不高的问题。
技术实现思路
1、本发明的目的在于提供一种水下退化图像复原方法、系统、计算机设备及存储介质,用于解决现有技术中对水下退化图像偏色矫正不到位、亮度提升不足和对比度、清晰度不高的问题。
2、为了实现上述目的,本发明采用如下技术方案:
3、第一方面,本发明提供一种水下退化图像复原方法,该水下退化图像复原方法包括以下步骤:
4、1)对获取的原始水下退化图像进行预处理;
5、2)构建条件扩散模型,对条件扩散模型的反向扩散过程进行改进,改进的内容包括:
6、a)基于mcsam网络构建transformer block模型,并基于transformer block模型构建编码和解码u-net网络模型,以得到复原后的水下退化图像的色相信息、饱和度信息和亮度信息,所述mcsam网络的通道空间注意力采用多头并行处理机制提取通道注意力,并对多头并行处理机制下提取到的通道注意力计算平均值,所述多头并行处理机制用于从不同的角度学习输入数据特征,以使得每个注意力头均能够关注到输入数据不同的信息子空间;
7、b)基于多尺度retinex模型构建gmsrbc模型,所述多尺度retinex模型用于对原始水下退化图像亮度进行增强,所述gmsrbc模型用于利用原始水下退化图像亮度的最大值和原始水下退化图像亮度的最小值,调整通过所述多尺度retinex模型增强后的水下退化图像亮度,以得到复原后的水下退化图像的亮度信息;
8、3)将步骤2)中改进的内容a)得到的复原后的水下退化图像的亮度信息与步骤2)中改进的内容b)得到的复原后的水下退化图像的亮度信息进行融合;
9、4)将步骤3)中步骤2)中改进的内容a)得到的复原后的水下退化图像的亮度信息与步骤2)中改进的内容b)得到的复原后的水下退化图像的亮度信息融合之后的亮度信息与步骤2)中改进的内容a)得到的复原后的水下退化图像的色相信息和饱和度信息进行组合,生成新的hsl颜色模型,将新的hsl颜色模型转换为rgb颜色模型,得到最终复原后的水下退化图像。
10、本发明进一步的改进在于,所述预处理指的是对获取到的原始水下退化图像进行裁剪、翻转和旋转几何变换,以增加数据量。
11、本发明进一步的改进在于,步骤2)中改进的内容b),当通过所述多尺度retinex模型增强后的水下退化图像亮度大于等于原始水下退化图像亮度的最大值时,将原始水下退化图像亮度的最大值作为增强后的水下退化图像亮度;当通过所述多尺度retinex模型增强后的水下退化图像亮度小于等于原始水下退化图像亮度的最小值时,将原始水下退化图像亮度的最小值作为增强后的水下退化图像亮度;当通过所述多尺度retinex模型增强后的水下退化图像亮度大于原始水下退化图像亮度的最小值,且增强后的水下退化图像亮度小于原始水下退化图像亮度的最大值时,增强后的水下退化图像亮度不进行调整。
12、本发明进一步的改进在于,步骤3)中,将步骤2)中改进的内容a)得到的复原后的水下退化图像的亮度信息与步骤2)中改进的内容b)得到的复原后的水下退化图像的亮度信息进行融合,融合的过程为:
13、a)计算步骤2)中改进的内容a)得到的复原后的水下退化图像亮度通道通过引导滤波处理后的亮度信息和步骤2)中改进的内容b)得到的复原后的水下退化图像亮度通道通过引导滤波处理后的亮度信息;
14、
15、其中,l′gmsrbc-i为步骤2)中改进的内容b)得到的复原后的水下退化图像亮度通道通过引导滤波处理后第i个像素处的亮度信息,lgmsrbc-j为步骤2)中改进的内容b)得到的复原后的水下退化图像亮度通道第j个像素处的亮度信息,l′cdm-i为步骤2)中改进的内容a)得到的复原后的水下退化图像亮度通道通过引导滤波处理后第i个像素处的亮度信息,lcdm-j为步骤2)中改进的内容a)得到的复原后的水下退化图像亮度通道第j个像素处的亮度信息,i和j分别表示复原后的水下退化图像像素下标,wij(i)表示只和原始水下退化图像相关的滤波核;
16、b)计算步骤2)中改进的内容a)得到的复原后的水下退化图像亮度信息权重和步骤2)中改进的内容b)得到的复原后的水下退化图像亮度信息权重,步骤2)中改进的内容a)得到的复原后的水下退化图像亮度信息权重和步骤2)中改进的内容b)得到的复原后的水下退化图像亮度信息权重的计算公式为:
17、
18、其中,wgmsrbc为步骤2)中改进的内容b)得到的复原后的水下退化图像亮度信息权重,l′gmsrbc为步骤2)中改进的内容b)复原后的整个水下退化图像亮度通道通过引导滤波处理后的亮度信息,l′cdm为步骤2)中改进的内容a)得到的复原后的整个水下退化图像亮度通道通过引导滤波处理后的亮度信息,wcdm为步骤2)中改进的内容a)得到的复原后的水下退化图像亮度信息权重,ε为超参数;
19、c)将步骤2)中改进的内容a)得到的复原后的水下退化图像的亮度信息与步骤2)中改进的内容b)得到的复原后的水下退化图像的亮度信息进行融合,融合的计算公式为:
20、l′=wgmsrbclgmsrbc+wcdmlcdm
21、其中,l′为步骤2)中改进的内容a)得到的复原后的水下退化图像的亮度信息与步骤2)中改进的内容b)得到的复原后的水下退化图像的亮度信息融合之后的亮度信息,wgmsrbc为步骤2)中改进的内容b)复原后的水下退化图像亮度信息权重,lgmsrbc为步骤2)中改进的内容b)复原后的水下退化图像在hsl颜色模型中的亮度信息,wcdm为步骤2)中改进的内容a)复原后的水下退化图像亮度信息权重,lcdm为步骤2)中改进的内容a)复原后的水下退化图像在hsl颜色模型中的亮度信息。
22、本发明进一步的改进在于,所述u-net网络模型在编码阶段输入图像的二维尺寸成倍数减小,输入图像的rgb通道数成倍数增加,所述u-net网络模型在解码阶段输入图像的二维尺寸成倍数增加,输入图像的rgb通道数成倍数减少。
23、本发明进一步的改进在于,所述u-net网络模型编码阶段和解码阶段均由三层transformer block模型构成。
24、第二方面,本发明提供一种水下退化图像复原系统,包括数据预处理模块、条件扩散模型反向扩散过程改进模块、亮度信息融合模块和最终复原后的水下退化图像获取模块;
25、所述数据预处理模块用于对获取的原始水下退化图像进行预处理;
26、所述条件扩散模型反向扩散过程改进模块用于构建条件扩散模型,对条件扩散模型的反向扩散过程进行改进,改进的内容包括:
27、a)基于mcsam网络构建transformer block模型,并基于transformer block模型构建编码和解码u-net网络模型,以得到复原后的水下退化图像的色相信息、饱和度信息和亮度信息,所述mcsam网络的通道空间注意力采用多头并行处理机制提取通道注意力,并对多头并行处理机制下提取到的通道注意力计算平均值,所述多头并行处理机制用于从不同的角度学习输入数据特征,以使得每个注意力头均能够关注到输入数据不同的信息子空间;
28、b)基于多尺度retinex模型构建gmsrbc模型,所述多尺度retinex模型用于对原始水下退化图像亮度进行增强,所述gmsrbc模型用于利用原始水下退化图像亮度的最大值和原始水下退化图像亮度的最小值,调整通过所述多尺度retinex模型增强后的水下退化图像亮度,以得到复原后的水下退化图像的亮度信息;
29、所述亮度信息融合模块用于将所述条件扩散模型反向扩散过程改进模块中改进的内容a)得到的复原后的水下退化图像的亮度信息与所述条件扩散模型反向扩散过程改进模块中改进的内容b)得到的复原后的水下退化图像的亮度信息进行融合;
30、所述最终复原后的水下退化图像获取模块用于将所述条件扩散模型反向扩散过程改进模块中改进的内容a)得到的复原后的水下退化图像的亮度信息与所述条件扩散模型反向扩散过程改进模块中改进的内容b)得到的复原后的水下退化图像的亮度信息融合之后的亮度信息与所述条件扩散模型反向扩散过程改进模块中改进的内容a)得到的复原后的水下退化图像的色相信息和饱和度信息进行组合,生成新的hsl颜色模型,将新的hsl颜色模型转换为rgb颜色模型,得到最终复原后的水下退化图像。
31、本发明进一步的改进在于,所述预处理指的是对获取到的原始水下退化图像进行裁剪、翻转和旋转几何变换,以增加数据量。
32、第三方面,本发明提供一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述介绍的水下退化图像复原方法。
33、第四方面,本发明提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述介绍的水下退化图像复原方法。
34、与现有技术相比,本发明具有如下有益效果:
35、本发明属于改进型发明,与现有的水下退化图像复原方法相比,本发明提出的水下退化图像复原方法对条件扩散模型的反向扩散过程改进了两处,a)基于mcsam网络构建transformer block模型,并基于transformer block模型构建编码和解码u-net网络模型,以得到复原后的水下退化图像的色相信息、饱和度信息和亮度信息;b)基于多尺度retinex模型构建gmsrbc模型,以得到复原后的水下退化图像的亮度信息。a)矫正了水下图像偏色问题,也提高了水下图像的对比度和清晰度;b)提升了水下图像的整体亮度。本发明还通过改进的内容a)和改进的内容b)得到的复原后的水下退化图像的亮度信息融合之后的亮度信息调整改进的内容a)得到的复原后的水下退化图像的亮度信息,进而得到清晰的复原后的水下退化图像。与现有技术相比,本发明有效地解决了现有技术中对水下退化图像偏色矫正不到位、亮度提升不足和对比度、清晰度不高的问题。
1.一种水下退化图像复原方法,其特征在于,该水下退化图像复原方法包括以下步骤:
2.根据权利要求1所述的水下退化图像复原方法,其特征在于,所述预处理指的是对获取到的原始水下退化图像进行裁剪、翻转和旋转几何变换,以增加数据量。
3.根据权利要求1所述的水下退化图像复原方法,其特征在于,步骤2)中改进的内容b),当通过所述多尺度retinex模型增强后的水下退化图像亮度大于等于原始水下退化图像亮度的最大值时,将原始水下退化图像亮度的最大值作为增强后的水下退化图像亮度;当通过所述多尺度retinex模型增强后的水下退化图像亮度小于等于原始水下退化图像亮度的最小值时,将原始水下退化图像亮度的最小值作为增强后的水下退化图像亮度;当通过所述多尺度retinex模型增强后的水下退化图像亮度大于原始水下退化图像亮度的最小值,且增强后的水下退化图像亮度小于原始水下退化图像亮度的最大值时,增强后的水下退化图像亮度不进行调整。
4.根据权利要求1所述的水下退化图像复原方法,其特征在于,步骤3)中,将步骤2)中改进的内容a)得到的复原后的水下退化图像的亮度信息与步骤2)中改进的内容b)得到的复原后的水下退化图像的亮度信息进行融合,融合的过程为:
5.根据权利要求1所述的水下退化图像复原方法,其特征在于,所述u-net网络模型在编码阶段输入图像的二维尺寸成倍数减小,输入图像的rgb通道数成倍数增加,所述u-net网络模型在解码阶段输入图像的二维尺寸成倍数增加,输入图像的rgb通道数成倍数减少。
6.根据权利要求5所述的水下退化图像复原方法,其特征在于,所述u-net网络模型编码阶段和解码阶段均由三层transformer block模型构成。
7.一种水下退化图像复原系统,其特征在于,包括数据预处理模块、条件扩散模型反向扩散过程改进模块、亮度信息融合模块和最终复原后的水下退化图像获取模块;
8.根据权利要求7所述的水下退化图像复原系统,所述预处理指的是对获取到的原始水下退化图像进行裁剪、翻转和旋转几何变换,以增加数据量。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的水下退化图像复原方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的水下退化图像复原方法。