本发明涉及人工智能硬件平台中gpu分支图像处理器领域,尤其设计一种图像修复的方法、模型训练方法、芯片、介质、程序产品、gpu服务器。
背景技术:
1、水下环境信息收集,尤其是在光学成像方面,呈现出一系列独特而复杂的挑战。这些挑战主要源于水下世界与陆地成像环境截然不同的物理特性。同时,水中的微粒和浮游生物会散射穿越的光线,使得成像过程中捕捉到的光线方向发生变化,进而导致图像出现模糊,细节丧失,对比度降低,色散现象也会进一步加剧成像的色彩失真。在深海或深湖等深水环境中,上述问题更为严重。由于阳光难以穿透至深水区域,这些区域几乎处于完全的黑暗之中。在这样的环境下,可见光源主要来自于某些特定的生物发光现象,如荧光水母和某些深海鱼类的生物发光。然而,这些生物发光提供的光照非常有限,远远不足以照亮周围环境,导致深海成像的能见度极低。这种极低的光照条件,加之水体的物理特性对光线的影响,极大地限制了水下成像技术的应用,使得高质量的水下图像获取变得异常困难。
2、水下图像增强技术是改善图像视觉质量的关键技术手段。这些技术致力于对因水下特有的光学特性(如光的吸收、散射和色散)而退化的图像进行处理,以提高图像的可用性和信息量。在传统的水下图像增强方法中,基于水下物理模型的方法占据了重要位置,尽管基于物理模型的方法在原理上具有坚实的基础,但在实际应用中面临着显著的挑战。这类方法依赖于对水下环境深度和光传播系数等参数的准确估计,而这些参数在现实环境中往往难以精确获得。此外,由于海洋环境的复杂性和多变性,基于简化物理模型的方法可能无法充分捕捉水下成像的所有特性,导致增强结果缺乏稳健性,有时甚至会产生不自然的视觉效果。
技术实现思路
1、一、要解决的技术问题
2、本发明期望能够至少部分解决上述技术问题中的其中之一。
3、二、技术方案
4、本发明第一方面提供了一种图像修复的模型训练方法。该模型训练方法包括:
5、步骤a,前向加噪,包括:将原始图像iraw和修复完成的参照图像iref进行合成,得到合成图像i0:i0=f(iraw,iref),f为合成函数;在合成图像i0上分n步逐步引入高斯噪声,得到加噪图像in,n≥100;
6、步骤b,反向去噪训练,包括:m步的去噪训练步骤,其中,对于第m步去噪训练步骤,包括:利用噪声估计神经网络进行噪声估计,其中,fθ为噪声估计神经网络,xm为当前步骤的含噪图像;iref为参考图像,为噪声估计神经网络回归输出的估计噪声;噪声去除,得到去噪后的图片:其中,m=mm-1,…,1,m≥100,m≤n,xm=in,在m步的去噪训练步骤未结束的情况下,xm-1作为下一步去噪训练步骤的输入;在m步的去噪训练步骤结束后,得到去噪图像x0;其中,在去噪训练步骤中对噪声估计神经网络通过反向传播进行训练,所述噪声估计神经网络的损失函数l包括:去噪训练步骤中得到的估计噪声的均值与真实噪声均值之间的差异l1。
7、本发明第二方面提供了一种图像修复方法。该图像修复方法包括:
8、获得待修复图像;
9、将待修复图像与高斯噪声图像进行合成,得到合成图像;
10、对合成图像进行去噪,包括:s步的去噪步骤,
11、其中,对于第s步去噪步骤,包括:利用噪声估计神经网络进行噪声估计,其中,fθ为经由如上的模型训练方法得到噪声估计神经网络,xs为当前步骤的含噪图像;为噪声估计神经网络回归输出的估计噪声;噪声去除,得到去噪后的图片:其中,s=s,s-1,…,1,s≥100,在去噪过程未结束的情况下,xs+1作为下一步去噪过程的输入,在去噪过程结束后,得到去噪图片x0。
12、本发明第三方面提供了一种计算机芯片。该计算机芯片被配置为实现:如上的图像修复的模型训练方法;或,如上的图像修复方法。
13、本发明第四方面提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现:如上的图像修复的模型训练方法;或,图像修复方法。
14、本发明第五方面提供了一种计算机程序产品。该计算机程序产品包括:计算机程序,其中,该计算机程序被处理器执行时实现:如上的图像修复的模型训练方法;或,图像修复方法。
15、本发明第六方面提供了一种gpu服务器。该gpu服务器包括:处理器;存储器,其上存储有计算机程序;其中,所述处理器执行所述计算机程序时,实现:如上的图像修复的模型训练方法;或,图像修复方法。
16、三、有益效果
17、从上述技术方案可知,本发明相对于现有技术至少具有以下有益效果之一:
18、1.引入了一种扩散模型,通过监督学习策略,优化模型参数以适应特定环境的成像条件,去噪效果大大提升。
19、2.在反向去噪步骤中,色彩校正模块利用深度学习网络对每个像素的色彩进行精确校正,确保最终输出的图像完整的反映了原始场景的色彩。
1.一种图像修复的模型训练方法,其特征在于,包括:
2.根据权利要求1所述的模型训练方法,其特征在于,
3.根据权利要求2所述的模型训练方法,其特征在于,所述步骤a中,
4.根据权利要求3所述的模型训练方法,其特征在于,
5.根据权利要求4所述的模型训练方法,其特征在于,所述unet网络包括编码器、解码器,以及连接二者的跳跃路径;其中:
6.根据权利要求1所述的模型训练方法,其特征在于,所述m步的去噪训练步骤包括:
7.根据权利要求6所述的模型训练方法,其特征在于,所述色彩校正模块包括:
8.根据权利要求6所述的模型训练方法,其特征在于,
9.一种图像修复方法,其特征在于,包括:
10.根据权利要求8所述的图像修复方法,其特征在于,所述s步的去噪步骤包括:
11.根据权利要求10所述的图像修复方法,其特征在于,
12.一种计算机芯片,其特征在于,所述计算机芯片被配置为实现:如权利要求1至8中任一项所述的图像修复的模型训练方法;或,如权利要求9或10所述的图像修复方法。
13.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,该计算机程序被处理器执行时实现:如权利要求1至8中任一项所述的图像修复的模型训练方法;或,如权利要求9或10所述的图像修复方法。
14.一种计算机程序产品,其特征在于,包括:计算机程序,其中,该计算机程序被处理器执行时实现:如权利要求1至8中任一项所述的图像修复的模型训练方法;或,如权利要求9或10所述的图像修复方法。
15.一种gpu服务器,其特征在于,包括: