本申请涉及图像数据处理,尤其涉及一种遮挡人脸的特征融合识别方法、设备和存储介质。
背景技术:
1、由于卷积深度网络在特征提取方面性能优异,因此,相关技术中主要通过卷积深度网络来对人脸图像进行特征提取。卷积深度网络表现为网络设计得越深,提取出来的特征就会越强。因此,当前的卷积神经网络模型通常都会设计得深层化,以此提高人脸识别的准确率。但是,深层且复杂的网络模型需要比较大的数据量来避免模型的过拟合,使得模型的资源占用过高且在移动设备上适用性差,进而导致当前移动设备能负载的识别模型的人脸识别准确率低。
技术实现思路
1、本申请的主要目的在于提供一种遮挡人脸的特征融合识别方法,旨在解决相关技术中模型的资源占用过高且在移动设备上适用性差,进而导致当前移动设备能负载的识别模型的人脸识别准确率低的技术问题。
2、为实现上述目的,本申请提出一种遮挡人脸的特征融合识别方法,所述遮挡人脸的特征融合识别方法包括:获取脸部区域图像;基于显式特征增强模块提取所述脸部区域图像中未遮挡区域的第一脸部特征,以及根据隐式特征挖掘模块确定对应于所述遮挡区域的第二脸部特征;基于特征融合模块融合所述第一脸部特征以及所述第二脸部特征,确定所述脸部区域图像对应的融合脸部特征;输出所述融合脸部特征的识别结果。
3、在一实施例中,所述显式特征增强模块基于注意力机制设计,所述基于显式特征增强模块提取所述脸部区域图像中未遮挡区域的第一脸部特征的步骤,包括:
4、基于所述显式特征增强模块确定所述脸部区域图像的遮挡边界;
5、根据所述遮挡边界以及所述注意力机制确定所述未遮挡区域;
6、提取所述未遮挡区域对应的所述第一脸部特征。
7、在一实施例中,隐式特征挖掘模块包括判别器以及生成器,所述根据隐式特征挖掘模块确定对应于所述遮挡区域的第二脸部特征的步骤,包括:
8、基于所述生成器以及所述脸部区域图像的整体特征确定所述遮挡区域的补全图像;
9、基于所述判别器判断所述补全图像的可信度;
10、若所述可信度不满足信任条件,更新所述补全图像;
11、提取所述补全图像对应的所述第二脸部特征。
12、在一实施例中,所述判别器包括局部判别器以及全局判别器,所述基于所述判别器判断所述补全图像的可信度的步骤,包括:
13、若所述补全图像为局部图像,通过所述局部判别器基于所述补全图像的内部特征确定所述可信度;
14、若所述补全图像为全局图像,通过所述全局判别器确定所述补全图像与所述未遮挡区域的边界特征;
15、根据所述边界特征确定所述可信度。
16、在一实施例中,所述基于显式特征增强模块提取所述脸部区域图像中未遮挡区域的第一脸部特征,以及根据隐式特征挖掘模块确定对应于所述遮挡区域的第二脸部特征的步骤之前,包括:
17、修剪卷积神经网络中的残差网络层,确定目标卷积神经网络;
18、基于修剪之前的权重作为训练参数微调所述目标卷积神经网络;
19、若微调后的所述目标卷积神经网络的网络精度大于或者等于预设阈值,基于微调后的所述目标卷积神经网络执行所述修剪卷积神经网络中的残差网络层,确定目标卷积神经网络的步骤。
20、在一实施例中,所述修剪卷积神经网络中的残差网络层,确定目标卷积神经网络的步骤,包括:
21、确定所述残差网络层中的可修剪层;
22、确定卷积滤波器在各所述可修剪层中的重要性指标;
23、确定各所述可修剪层对应的重要性指标均值;
24、确定各所述可修剪层中所述重要性指标与所述重要性指标均值的偏离度,大于该层偏离度均值的神经元为目标神经元;
25、删除所述目标神经元,以确定所述目标卷积神经网络。
26、在一实施例中,所述基于修剪之前的权重作为训练参数微调所述目标卷积神经网络的步骤,包括:
27、在所述目标卷积神经网络相邻的网络层中插入识别损失函数;
28、基于插入后所述目标卷积神经网络对应特征图的识别损失和重构误差确定标识信道;
29、根据所述标识信道微调所述目标卷积神经网络。
30、在一实施例中,所述基于修剪之前的权重作为训练参数微调所述目标卷积神经网络的步骤之后,包括:
31、若微调后的所述目标卷积神经网络的网络精度小于预设阈值,压缩所述目标卷积神经网络,其中,压缩过程的损失函数包括实例损失以及成对损失中至少一种。
32、此外,为实现上述目的,本申请还提供一种遮挡人脸的特征融合识别设备,所述遮挡人脸的特征融合识别设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上所述遮挡人脸的特征融合识别方法的步骤。
33、此外,为实现上述目的,本申请还提供一种存储介质,所述存储介质为计算机可读存储介质,所述计算机可读存储介质上存储有实现遮挡人脸的特征融合识别方法的程序,所述实现遮挡人脸的特征融合识别方法的程序被处理器执行以实现如上所述遮挡人脸的特征融合识别方法的步骤。
34、本申请提供了一种遮挡人脸的特征融合识别方法,本申请首先通过获取脸部区域图像;基于显式特征增强模块提取所述脸部区域图像中未遮挡区域的第一脸部特征,以及根据隐式特征挖掘模块确定对应于所述遮挡区域的第二脸部特征;基于特征融合模块融合所述第一脸部特征以及所述第二脸部特征,确定所述脸部区域图像对应的融合脸部特征;输出所述融合脸部特征的识别结果。能够有效解决相关技术中模型的资源占用过高且在移动设备上适用性差,进而导致当前移动设备能负载的识别模型的人脸识别准确率低的技术问题,实现低负载情况下提升移动终端人脸识别准确性的技术效果。
35、综上所述,本申请通过结合显式特征增强模块和隐式特征挖掘模块提取人脸图像的脸部特征,简化网络模型,减少模型参数和计算量,使得深度网络模型可以更好地在移动设备上运行。
1.一种遮挡人脸的特征融合识别方法,其特征在于,所述遮挡人脸的特征融合识别方法包括:
2.如权利要求1所述的遮挡人脸的特征融合识别方法,其特征在于,所述显式特征增强模块基于注意力机制设计,所述基于显式特征增强模块提取所述脸部区域图像中未遮挡区域的第一脸部特征的步骤,包括:
3.如权利要求1所述的遮挡人脸的特征融合识别方法,其特征在于,隐式特征挖掘模块包括判别器以及生成器,所述根据隐式特征挖掘模块确定对应于所述遮挡区域的第二脸部特征的步骤,包括:
4.如权利要求3所述的遮挡人脸的特征融合识别方法,其特征在于,所述判别器包括局部判别器以及全局判别器,所述基于所述判别器判断所述补全图像的可信度的步骤,包括:
5.如权利要求1所述的遮挡人脸的特征融合识别方法,其特征在于,所述基于显式特征增强模块提取所述脸部区域图像中未遮挡区域的第一脸部特征,以及根据隐式特征挖掘模块确定对应于所述遮挡区域的第二脸部特征的步骤之前,包括:
6.如权利要求5所述的遮挡人脸的特征融合识别方法,其特征在于,所述修剪卷积神经网络中的残差网络层,确定目标卷积神经网络的步骤,包括:
7.如权利要求5所述的遮挡人脸的特征融合识别方法,其特征在于,所述基于修剪之前的权重作为训练参数微调所述目标卷积神经网络的步骤,包括:
8.如权利要求5所述的遮挡人脸的特征融合识别方法,其特征在于,所述基于修剪之前的权重作为训练参数微调所述目标卷积神经网络的步骤之后,包括:
9.一种遮挡人脸的特征融合识别设备,其特征在于,所述遮挡人脸的特征融合识别设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如权利要求1至8中任一项所述的遮挡人脸的特征融合识别方法的步骤。
10.一种存储介质,其特征在于,所述存储介质为计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的遮挡人脸的特征融合识别方法的步骤。
