本发明涉及电力物联网，具体涉及一种对电力设备红外图像进行超分辨率重建的方法，更具体地，涉及一种基于双注意力pix2pix生成对抗网络来对电力设备红外图像进行超分辨率重建的方法。
背景技术：
1、构建电力物联网的关键目标之一在于实现对各种电力设备运行状态的实时监测和深入分析评估。因此，广泛有效装设各类在线监测传感器对于电力系统的监测、故障诊断、运行优化和成本控制具有重要意义。但红外热成像传感器受到硬件工艺制造水平和硬件制造成本等因素的限制，难以实现在现场进行大规模部署。因此为避免硬件成本和技术等方面因素的限制，采用超分辨率重建算法来提升红外图像的分辨率，是实现红外热成像技术，从而满足电力物联网需求的有效途径。
2、作为一种先进的图像处理手段，超分辨率重建技术在红外成像、视频处理、人脸识别以及医学成像等众多领域均展现出了广泛的应用潜力和实用价值，其主要功能在于恢复并增强图像中的纹理细节，将分辨率较低的模糊图像转换成高清晰度的图像，从而大幅提升图像质量。超分辨率重建方法主要包括三种：基于插值的方法、基于重建的方法和基于学习的方法。基于插值的方法主要有最近邻插值法，双线性插值法和双三次插值法。基于插值的超分算法操作简便且原理简单，但重建过程中无法有效引入图像外部的先验知识，重建精度不高，效果有限。基于重建的方法主要以凸集投影法、最大后验概率法、和迭代反投影法为代表。虽然较插值法得到的图像更清晰，但迭代周期长，不适合对重建倍数要求较高的场合。基于学习的方法可分为浅度学习法和深度学习法，浅度学习法主要是稀疏表示算法，而随着深度学习在计算机视觉领域的卓越表现，以卷积神经网络、递归残差网络、生成对抗网络为主的深度学习法超分辨率重建技术受到了研究者们的高度关注，因其生成的图像清晰度高，具有高精度的细节表现力，无论是在主观视觉评价还是客观性能指标方面都取得了显著的进步，目前已成为近年广泛使用且效果突出的方法。
3、超分辨率重建方法在深度学习领域主要分为卷积神经网络和生成对抗网络两大部分。文献首次提出了超分辨率卷积神经网络模型，将低分辨率图像经过三层卷积网络映射成目标高分辨率图像，实现图像的细节恢复和分辨率提升。以此为基础，dong chao等学者通过引入反卷积层，改变滤波器的尺寸建立了特征超分辨率卷积神经网络模型。文献提出了深度卷积神经网络，在增加网络深度的同时级联小过滤器，充分利用图像的上下文信息，并在此基础上提出深度递归卷积神经网络，增加递归深度，提升了网络性能。然而，上述基于卷积神经网络的重建模型最优网络层数难以确定，层数较少则网络性能较差，层数较多则模型收敛性难以保证。文献首次在超分辨率重建领域应用生成对抗网络。生成对抗网络(gan)是一种新型的深度学习模型，在图像数据中潜在的复杂关系方面展现出巨大的潜力，在电力系统多个应用领域得到了应用和验证。文献将pix2pix的生成对抗网络应用于图像处理，取得了瞩目的成果。随后j.li等学者提出了一个具有五层编码网络的生成性对抗网络，对pix2pix进行改进，使得网络的功能和效率得到了显著提升。p.kumar等学者针对生成器网络，提出了使用预先训练的残差网络来构建生成器的编码器。
技术实现思路
1、现有的基于gan的图像超分辨率重建方法的局限性在于，传统的卷积层和残差层只能关注到相邻像素间的局部关系，导致重建后的图片仍然存在模糊和缺失的纹理。为此，本发明提出了一种基于双注意力pix2pix生成对抗网络，从全局-局部角度进行特征提取。首先，在生成器的体系结构中加入(空间和通道)双重注意力模块来学习图像特征之间的全局关系，并将两组依赖关系进行融合，加大全局信息的提取程度。然后，使用感知损失、对抗性损失和结构相似性指数(ssim)损失的线性组合作为损失函数进行网络模型训练，以获得更好的重建结果。最后，将所提的基于双注意力pix2pix生成对抗网络模型在电力设备红外热成像数据集上进行实验验证，实验结果验证了本发明方法的有效性。
2、为了实现上述目的，本发明提供了一种对电力设备红外图像进行超分辨率重建的方法，该方法包括：
3、(1)在生成器的体系结构中加入双重注意力模块来学习图像特征之间的全局关系，并将两组依赖关系进行融合，加大全局信息的提取程度；
4、(2)使用感知损失、对抗性损失和结构相似性指数损失的线性组合作为损失函数进行网络模型训练，以获得更好的重建结果；
5、(3)将所提的基于双注意力pix2pix生成对抗网络模型在电力设备红外热成像数据集上进行实验验证。
6、优选地，pix2pix模型框架由一个生成器和一个判别器构成，生成器采用u-net结构，通过跳跃连接在特征层间传递低维信息，从而保留输入图像的细节；判别器采用patchgan设计，对输入图像的各个图像块独立进行真伪判断，并将这些局部判断结果进行求和平均以得到整体图像的判别分数，确保模型关注图像全局的转换质量，避免局限于某个区域的生成逼真度。
7、优选地，在pix2pix模型的训练过程中，采用配对图像(x,y)作为数据集，其中x为原图像，y为目标图像；生成器接收x作为输入，生成模拟图像z；z与x在通道维度上合并，作为判别器的负样本，以评估生成的模拟图像的真实性；同时，将y与x在通道维度上合并，作为判别器的正样本，提供真实图像的参考概率值。
8、优选地，双重注意力模块包括一个前馈卷积神经网络形式的通道和空间注意力模块，双注意模块利用通道的全局相关性和特征权重来增强相关特征，抑制弱特征；通道注意模块中的输入特征同时进行全局最大池化和全局平均池化处理，并通过一个多层感知器，将mlp的处理结果进行逐像素相加后应用sigmoid激活函数生成输入特征对应元素的通道注意力；空间注意模块通过最大池化和平均池化操作生成空间特征，使用3×3扩张卷积来有效聚合上下文信息，然后利用sigmoid函数生成空间注意力特征；最后，将输入特征的空间和通道特征结合起来，实现双信道注意力，以增强详细的特征信息；空间注意力模块可以提取图像的信息和细节纹理，通道注意力模块有助于学习不同图像特征之间的关系。
9、优选地，双注意力pix2pix生成对抗网络的生成器部分是一个基于双注意力模块的编解码器u-net结构，u-net结构有两个组件：编码器和解码器；编码器网络将图像从像素空间转换到特征空间，解码器部分根据学习的图像特征生成高分辨率的图像；编码器和解码器通过残差连接，帮助在图像构建期间将细粒度和高分辨率细节从编码器的中间激活传播到解码器的层；所提出的体系结构中的编码器部分具有卷积块来帮助学习图像特征之间的局部相关性，而由空间和通道关注层组成的双重注意块有助于学习图像特征之间的空间间和通道间的全局依赖；解码器利用局部和全局图像特征，利用图像增强层和卷积层生成高质量的超分辨率红外图像。
10、优选地，使用patchgan判别器，将输入图像的每一块划分为真实或虚假，而不是整个图像；判别器在图像上进行卷积运算，以获得每个部分的预测值的输出矩阵，其中的每个元素实际代表原图中的一个比较大的感受野；输出矩阵中的每个值表示相应图像块是真是假的概率，取所有值的平均值来得到判别器的最终预测。
11、优选地，patchgan判别器的结构由卷积层组成，该卷积层将三通道输入图像采样为一通道预测输出。
12、优选地，采用的判别器具有一个初始特征图块，四个压缩模块和一个最终特征图块；初始特征映射卷积块是将3通道输入图像映射到64通道图像特征映射的1×1卷积层；然后，四个压缩模块帮助对图像进行下采样；每个压缩模块由两个卷积层组成；第一卷积层包含3×3卷积，随后是批量标准化、dropout和leakyrelu激活函数；第二卷积层包括3×3卷积，随后是批量标准化、leakyrelu激活函数和最大池化操作；最后一个特征图块也是1×1卷积层，它将最终的图像特征图映射到单通道输出。
13、优选地，生成器网络采用对抗损失、感知损失和ssim损失的线性组合作为损失函数，如下式所示：
14、lg＝la+λ1lp+λ2ls
15、其中：la为对抗损失函数，lp为感知损失函数，ls为ssim损失函数，经多次实验验证确定λ1＝200，λ2＝10；
16、对抗损失函数la为所生成图像的每一小块区域的二进制交叉熵损失，计算公式为：
17、la＝mean({l1,l2,...,ln}t)
18、ln＝-wn×[yn×logσ(xn)+(1-yn)×log(1-σ(xn))]
19、其中，x和y分别为输入的高分辨率图像和模型生成的高分辨率图像，一个批次的总对抗损失为该批次中所有数据的平均值；
20、感知损失函数lp为从vgg-16网络的隐藏层获得的真实图像和生成的超分辨率图像的激活之间的平滑l1损失，计算公式为：
21、
22、其中，beta是一个超参数，取beta的值为1，x和y分别为输入的高分辨率图像和模型生成的高分辨率图像。
23、优选地，ssim损失函数ls的计算公式为：
24、
25、其中，x和y分别为输入的高分辨率图像和模型生成的高分辨率图像，μx和μy分别为x和y的均值，和分别为x和y的方差，σxy为x和y的协方差，c1，c2，c3为常数。
26、本发明提出了一种基于双注意力pix2pix生成对抗网络来对电力设备红外图像进行超分辨率重建。生成对抗网络的生成器在编解码器中的每个卷积块之后加入空间和通道注意块，以学习图像特征之间的局部和全局关系。此外，使用感知损失、对抗性损失和ssim损失函数的线性组合来训练所提出的网络，从而生成质量更好的重建图像。在电力设备红外热成像数据集上进行了大量的实验，并将该方法的性能与其他备选方法和现有方法进行了比较。实验结果表明，本发明改进的pix2pixgan模型在电力设备红外图像的重建过程中，其客观评价指标psnr均值和ssim均值均有明显提升。其中平均psnr较pix2pixgan提高了0.994db，较bicubic双三次插值提高了1.701db；平均ssim指标较pix2pixgan提高了0.053，较bicubic双三次插值提高了0.124。在主观视觉感受上，重建图像整体感官效果最好，能够更好地适应电力行业的实际应用需求，提升电力系统运行可靠性。
1.一种对电力设备红外图像进行超分辨率重建的方法，其特征在于，该方法包括：
2.根据权利要求1所述的对电力设备红外图像进行超分辨率重建的方法，其特征在于，pix2pix模型框架由一个生成器和一个判别器构成，生成器采用u-net结构，通过跳跃连接在特征层间传递低维信息，从而保留输入图像的细节；判别器采用patchgan设计，对输入图像的各个图像块独立进行真伪判断，并将这些局部判断结果进行求和平均以得到整体图像的判别分数，确保模型关注图像全局的转换质量，避免局限于某个区域的生成逼真度。
3.根据权利要求1所述的对电力设备红外图像进行超分辨率重建的方法，其特征在于，在pix2pix模型的训练过程中，采用配对图像(x,y)作为数据集，其中x为原图像，y为目标图像；生成器接收x作为输入，生成模拟图像z；z与x在通道维度上合并，作为判别器的负样本，以评估生成的模拟图像的真实性；同时，将y与x在通道维度上合并，作为判别器的正样本，提供真实图像的参考概率值。
4.根据权利要求1所述的对电力设备红外图像进行超分辨率重建的方法，其特征在于，双重注意力模块包括一个前馈卷积神经网络形式的通道和空间注意力模块，双注意模块利用通道的全局相关性和特征权重来增强相关特征，抑制弱特征；通道注意模块中的输入特征同时进行全局最大池化和全局平均池化处理，并通过一个多层感知器，将mlp的处理结果进行逐像素相加后应用sigmoid激活函数生成输入特征对应元素的通道注意力；空间注意模块通过最大池化和平均池化操作生成空间特征，使用3×3扩张卷积来有效聚合上下文信息，然后利用sigmoid函数生成空间注意力特征；最后，将输入特征的空间和通道特征结合起来，实现双信道注意力，以增强详细的特征信息；空间注意力模块可以提取图像的信息和细节纹理，通道注意力模块有助于学习不同图像特征之间的关系。
5.根据权利要求1所述的对电力设备红外图像进行超分辨率重建的方法，其特征在于，双注意力pix2pix生成对抗网络的生成器部分是一个基于双注意力模块的编解码器u-net结构，u-net结构有两个组件：编码器和解码器；编码器网络将图像从像素空间转换到特征空间，解码器部分根据学习的图像特征生成高分辨率的图像；编码器和解码器通过残差连接，帮助在图像构建期间将细粒度和高分辨率细节从编码器的中间激活传播到解码器的层；所提出的体系结构中的编码器部分具有卷积块来帮助学习图像特征之间的局部相关性，而由空间和通道关注层组成的双重注意块有助于学习图像特征之间的空间间和通道间的全局依赖；解码器利用局部和全局图像特征，利用图像增强层和卷积层生成高质量的超分辨率红外图像。
6.根据权利要求1所述的对电力设备红外图像进行超分辨率重建的方法，其特征在于，使用patchgan判别器，将输入图像的每一块划分为真实或虚假，而不是整个图像；判别器在图像上进行卷积运算，以获得每个部分的预测值的输出矩阵，其中的每个元素实际代表原图中的一个比较大的感受野；输出矩阵中的每个值表示相应图像块是真是假的概率，取所有值的平均值来得到判别器的最终预测。
7.根据权利要求1所述的对电力设备红外图像进行超分辨率重建的方法，其特征在于，patchgan判别器的结构由卷积层组成，该卷积层将三通道输入图像采样为一通道预测输出。
8.根据权利要求1所述的对电力设备红外图像进行超分辨率重建的方法，其特征在于，采用的判别器具有一个初始特征图块，四个压缩模块和一个最终特征图块；初始特征映射卷积块是将3通道输入图像映射到64通道图像特征映射的1×1卷积层；然后，四个压缩模块帮助对图像进行下采样；每个压缩模块由两个卷积层组成；第一卷积层包含3×3卷积，随后是批量标准化、dropout和leakyrelu激活函数；第二卷积层包括3×3卷积，随后是批量标准化、leakyrelu激活函数和最大池化操作；最后一个特征图块也是1×1卷积层，它将最终的图像特征图映射到单通道输出。
9.根据权利要求1所述的对电力设备红外图像进行超分辨率重建的方法，其特征在于，生成器网络采用对抗损失、感知损失和ssim损失的线性组合作为损失函数，如下式所示：
10.根据权利要求9所述的对电力设备红外图像进行超分辨率重建的方法，其特征在于，ssim损失函数ls的计算公式为：
