1.本公开涉及一种用于识别图像的方法、装置、电子设备、存储介质和计算机程序产品。
背景技术：2.实践中，识别欺诈图像的需求越来越大，例如在静默活体检测领域，需要识别出当前图像是真实人脸图像还是欺诈图像。欺诈图像又称作弊图像或虚假图像，是指通过特定技术手段得到的可以混淆真实图像、具备欺诈性质的图像，特定手段可以包括对真实图像进行二次拍摄、利用特定道具代替真实目标拍摄、图像合成技术等，例如海报翻拍、手机屏幕翻拍、2d打印、ai换脸等手段。
3.相关技术中，通常采用深度网络模型(例如支持向量机、随机森林模型等)提取待识别图像的纹理特征，并根据提取出的纹理特征判断待识别图像是否为欺诈图像。
技术实现要素：4.本公开实施例提供一种用于识别图像的方法、装置、电子设备、存储介质和计算机程序产品，以提高欺诈图像的识别准确度。
5.本公开实施例的一个方面，提供一种用于识别图像的方法，包括：将包含有预设对象的待识别图像输入预先训练的至少一个深度网络模型，得到待识别图像的至少一个置信度，至少一个深度网络模型用于提取待识别图像的图像特征、并基于提取出的图像特征生成待识别图像的置信度，图像特征包括傅里叶频谱特征和纹理特征；基于至少一个置信度，确定待识别图像的识别结果，识别结果表征待识别图像是否为欺诈图像。
6.在一些实施例中，至少一个深度网络模型经由如下步骤训练得到：基于已标记置信度标签的真实图像和欺诈图像，生成样本图像，构建样本集，真实图像和欺诈图像中均包含预设对象；从样本集中选取出第一预设数量的样本图像，作为训练集；对训练集中的样本图像进行傅里叶变换，得到样本图像的样本傅里叶频谱特征；将训练集中的样本图像输入预先构建的初始深度网络模型，提取样本图像的初始特征，并基于初始特征生成样本图像的样本置信度；基于初始特征与样本傅里叶频谱特征，确定傅里叶特征损失值；基于样本置信度与样本图像的置信度标签，确定深度特征损失值；基于傅里叶损失值和深度特征损失值，确定初始深度网络模型的损失函数值；基于损失函数值，更新初始深度网络模型的参数，直至损失函数收敛，得到训练后的深度网络模型。
7.在一些实施例中，基于已标记置信度标签的真实图像和欺诈图像，生成样本图像，包括：从已标记置信度标签的真实图像和欺诈图像中截取出预设对象所在的图像区域，得到第一局部图像；响应于第一局部图像的尺寸大于预设尺寸，从第一局部图像中截取出多个预设尺寸大小的第二局部图像，每个第二局部图像中包含部分预设对象，其中，预设尺寸为初始深度网络模型输入图像的尺寸；将第二局部图像作为样本图像，将第二局部图像所属的真实图像或欺诈图像的置信度标签作为样本图像的置信度标签。
8.在一些实施例中，至少一个深度网络模型包括多个不同类型的深度网络模型；将待识别图像输入预先训练的至少一个深度网络模型，得到待识别图像的至少一个置信度，包括：将待识别图像分别输入多个不同类型的深度网络模型；多个不同类型的深度网络模型分别提取待识别图像的图像特征，并基于各自提取出的图像特征生成待识别图像的置信度，得到多个置信度；基于至少一个置信度，确定待识别图像的识别结果，包括：融合多个置信度，得到目标置信度；基于目标置信度，确定待识别图像的识别结果。
9.在一些实施例中，该方法还包括：响应于目标置信度处于预设数值区间，将待识别图像输入预先训练的参考深度网络模型，得到待识别图像的参考置信度，其中，参考深度网络模型用于提取待识别图像的图像特征、并基于提取出的图像特征生成参考置信度；基于参考置信度，确定待识别图像的参考识别结果；基于参考识别结果，更新待识别图像的识别结果，得到更新后的识别结果；以及，将更新后的识别结果确定为待识别图像的识别结果。
10.在一些实施例中，基于参考识别结果，更新待识别图像的识别结果，得到更新后的识别结果，包括：若参考识别结果为第一预设结果，将待识别图像的识别结果更新为第一预设结果，得到更新后的识别结果；若参考识别结果为第二预设结果，融合参考置信度与目标置信度，得到融合后的置信度；基于融合后的置信度，更新待识别图像的识别结果，得到更新后的识别结果。
11.在一些实施例中，参考深度网络模型经由如下步骤确定：从样本集中选取第二预设数量的样本图像，构建测试集；将测试集中的样本图像分别输入多个不同类型的深度网络模型，得到多个不同类型的深度网络模型各自输出的测试置信度；基于多个不同类型的深度网络模型各自输出的测试置信度，确定多个不同类型的深度网络模型各自的性能评估参数；将数值最大的性能评估参数对应的深度网络模型确定为参考深度网络模型。
12.本公开实施例的又一个方面，提供一种用于识别图像的装置，包括：图像输入单元，被配置成：将包含有预设对象的待识别图像输入预先训练的至少一个深度网络模型，得到待识别图像的至少一个置信度，至少一个深度网络模型用于提取待识别图像的图像特征、并基于提取出的图像特征生成待识别图像的置信度，图像特征包括傅里叶频谱特征和纹理特征；结果确定单元，被配置成：基于至少一个置信度，确定待识别图像的识别结果，识别结果表征待识别图像是否为欺诈图像。
13.本公开实施例的又一个方面，提供一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行存储器中存储的计算机程序，且计算机程序被执行时，实现上述任一实施例中用于识别图像的方法。
14.本公开实施例的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述任一实施例中用于识别图像的方法。
15.本公开实施例的又一个方面，提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述任一实施例中用于识别图像的方法。
16.本公开的实施例提供的用于识别图像的方法，通过深度网络模型提取的待识别图像的图像特征包括傅里叶频谱特征和纹理特征，可以提高图像特征刻画欺诈图像的准确度，之后基于提取出的傅里叶频谱特征和纹理特征生成置信度，并基于置信度确定待识别图像是否为欺诈图像，可以提高识别欺诈图像的准确度。
17.下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
18.构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。
19.参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
20.图1为本公开用于识别图像的方法的一个应用场景示意图；
21.图2为本公开用于识别图像的方法的一个实施例的流程示意图；
22.图3(a)为本公开用于识别图像的方法的一个实施例中训练深度网络模型的流程示意图；
23.图3(b)为图3(a)所示的流程中确定损失函数值的示意图；
24.图4为本公开用于识别图像的方法的一个实施例中构建样本图像的流程示意图；
25.图5为本公开用于识别图像的方法的又一个实施例的流程示意图；
26.图6为本公开用于识别图像的方法的又一个实施例中模型融合的流程示意图；
27.图7为本公开用于识别图像的方法的又一个实施例中更新识别结果的流程示意图；
28.图8为本公开用于识别图像的装置的一个实施例的结构示意图；
29.图9为本公开电子设备一个应用实施例的结构示意图。
具体实施方式
30.现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
31.本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
32.还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
33.还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
34.另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
35.还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
36.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
37.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
38.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
39.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
40.本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
41.终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
42.本公开概述
43.在实现本公开的过程中，发明人发现，由于图片的纹理特征易受拍摄环境和拍摄设备参数的影响，其中包含的特征信息较少，因此，在利用图像的纹理特征进行欺诈图像的识别时，导致识别准确度较低。
44.示例性系统
45.为了解决上述问题，提供了一种用于识别图像的方法，下面结合图1对本公开的用于识别图像的方法可以应用于其上的系统进行示例性说明，图1为本公开用于识别图像的方法的一个应用场景示意图，在图1所示的静默活体检测场景中，110可以为图像采集设备，可以采集人脸图像，120为运行本公开的用于识别图像的方法的电子设备，用于对采集到的人脸图像进行识别，以确定采集到的的图像是真实图像还是欺诈图像。
46.图像采集设备110可以通过网络将采集到的包含有人脸的待识别图像130发送至执行主体120。执行主体120可以将待识别图像130输入预先训练的深度网络模型140，例如可以是卷积神经网络、循环神经网络等。由深度网络模型提取出待识别图像130的傅里叶频谱特征150和纹理特征160，并基于傅里叶频谱特征150和纹理特征160生成置信度170。然后由执行主体120根据置信度170确定识别结果180，置信度160可以表征待识别图像130为欺诈图像的概率，例如当置信度大于预设的数值阈值时，可以确定待识别图像的识别结果为欺诈图像。
47.得益于傅里叶频谱特征可以更高效地表征欺诈图像与真实图像之间的区别，本公开的用于识别图像的方法提取出的图像特征包括图像的傅里叶频谱特征和纹理特征，使得图像特征可以更准确地刻画欺诈图像，以此对欺诈图像进行识别可以有效提高识别欺诈图像的准确度。
48.示例性方法
49.下面对本公开的用于识别图像的方法进行示例性说明，首先参考图2，图2为本公开用于识别图像的方法的一个实施例的流程示意图，如图2所示，该流程包括如下步骤。
50.步骤210、将包含有预设对象的待识别图像输入预先训练的至少一个深度网络模
型，得到待识别图像的至少一个置信度。
51.其中，至少一个深度网络模型用于提取待识别图像的图像特征、并基于提取出的傅里叶频谱特征生成待识别图像的置信度，图像特征包括傅里叶频谱特征和纹理特征。
52.在本实施例中，预设对象用于表征待识别图像的拍摄目标，例如可以是人脸、车牌或其他物体。置信度用于表征待识别图像为欺诈图像的概率，是由深度网络模型根据预先学习到的识别策略，基于提取出的傅里叶频谱特征和纹理特征生成的。置信度越接近1，表示待识别图像为欺诈图像的概率就越大，反之，待识别图像为欺诈图像的概率就越小。
53.需要说明的是，由于欺诈图像与真实图像是对立的，本公开中的置信度表征的是欺诈图像的概率，该置信度与1的差值则可以表示真实图像的概率，二者为等价关系。
54.作为示例，执行主体可以是移动终端，例如可以是智能手机、平板电脑等，其上装载有预先训练的深度网络模型，例如可以是卷积神经网库、循环神经网络等。考虑到移动终端的运算性能，深度网络模型优选轻量级的分类神经网络，squeezenet、xception、mobilenet等。执行主体可以通过网络获取待识别图像，然后将待识别图像输入深度网络模型中，由深度网络模型的输入层将待识别图像的尺寸重设至预设的输入尺寸，然后将重设尺寸后的待识别图像输入隐藏层，提取出待识别图像的傅里叶频谱特征和纹理特征，最后由输出层根据提取出的傅里叶频谱特征和纹理特征估计出待识别图像为欺诈图像的概率，并输出置信度。
55.需要说明的是，本实施例中的深度网络模型可以为一个，则经步骤210可以得到一个置信度。深度网络模型还可以为多个，执行主体可以将待识别图像分别输入多个深度网络模型，由此得到多个置信度。
56.步骤220、基于至少一个置信度，确定待识别图像的识别结果。
57.其中，识别结果表征待识别图像是否为欺诈图像。
58.实践中，真实图像是指拍摄真实目标得到的原始图像，欺诈图像则是指通过特定手段得到的可以混淆真实图像的具备欺诈性质的图像。以人脸图像为例，真实图像为图像采集设备直接拍摄人脸得到的图像，欺诈图像则可以通过翻拍真实照片、电脑屏幕或拍摄3d打印的面具得到包含有“人脸”的图像。
59.在本实施例中，执行主体可以根据步骤210得到的置信度，判断待识别图像是否为欺诈图像，并以此生成识别结果。
60.作为示例，经步骤210得到一个置信度，若该置信度大于预设的数值阈值，执行主体可以确定待识别图像的识别结果为“欺诈图像”；若该置信度小于预设的数值阈值，则待识别图像的识别结果为“非欺诈图像”。
61.再例如，若步骤210得到多个置信度，若该多个置信度全部或超过半数大于预设的数值阈值，则可以确定待识别图像的识别结果为“欺诈图像”；若该多个置信度全部或超过半数不大于预设的数值阈值，则可以确定待识别图像的识别结果为“非欺诈图像”。
62.本公开的实施例提供的用于识别图像的方法，通过深度网络模型提取的待识别图像的图像特征包括傅里叶频谱特征和纹理特征，可以提高图像特征刻画欺诈图像的准确度，之后基于提取出的傅里叶频谱特征和纹理特征生成置信度，并基于置信度确定待识别图像是否为欺诈图像，可以提高识别欺诈图像的准确度。
63.在本发明各实施例的一个可选示例中，纹理特征例如可以包括但不限于以下任意
多项：局部二值模式(lbp)特征、稀疏编码的柱状图(hsc)特征、全景图(large)特征，当预设对象为人脸时，还可以包括人脸图(small)特征、人脸细节图(tiny)特征。具体应用中，可以根据可能出现的伪造线索信息对该提取的图像特征包括的特征项进行更新。
64.其中，通过lbp特征，可以突出图像中的边缘信息；通过hsc特征，可以更明显的反映图像中的反光与模糊信息；large特征是全图特征，基于large特征，可以提取到图像中最明显的伪造线索(hack)；人脸图(small)是图像中人脸框若干倍大小(例如1.5倍大小)的区域切图，其包含人脸、人脸与背景切合的部分，基于small特征，可以提取到反光、翻拍设备屏幕摩尔纹与模特或者面具的边缘等伪造线索；人脸细节图(tiny)是取人脸框大小的区域切图，包含人脸，基于tiny特征，可以提取到图像ps(基于图像编辑软件photoshop编辑)、翻拍屏幕摩尔纹与模特或者面具的纹理等伪造线索。
65.以伪造人脸为例，可以包括2d类、2.5d类和3d类伪造人脸。其中，2d类伪造人脸指的是纸质类材料打印出的人脸图像，该2d类伪造人脸线索信息例如可以包含纸质人脸的边缘、纸张材质、纸面反光、纸张边缘等伪造线索信息。2.5d类伪造人脸指的是视频翻拍设备等载体设备承载的人脸图像，该2.5d类伪造人脸线索信息例如可以包含视频翻拍设备等载体设备的屏幕摩尔纹、屏幕反光、屏幕边缘等伪造线索信息。3d类伪造人脸指的是真实存在的伪造人脸，例如面具、模特、雕塑、3d打印等，该3d类伪造人脸同样具备相应的伪造线索信息，例如面具的缝合处、模特的较为抽象或过于光滑的皮肤等伪造线索信息。
66.根据待识别图像的类型确定可能存在的伪造线索信息，然后更新纹理特征中具体包括的特征类型，使得从待处理图像中提取出的图像特征对该类型的欺诈图像的针对性更强。
67.接着参考图3(a)，图3(a)示出了本公开用于识别图像的方法的一个实施例中训练深度网络模型的流程示意图，如3(a)所示，该流程包括：
68.步骤310、基于已标记置信度标签的真实图像和欺诈图像，生成样本图像，构建样本集。
69.在本实施例中，真实图像和欺诈图像中均包含预设对象。
70.作为示例，预设对象可以为人脸，执行主体可以通过网络从公开数据集中获取包含有人脸的真实图像和欺诈图像，然后将欺诈图像标记为“1”，将真实图像标记为“0”，之后，可以直接将标记后的真实图像和欺诈图像作为样本图像，得到样本集。
71.步骤320、从样本集中选取出第一预设数量的样本图像，作为训练集。
72.步骤330、对训练集中的样本图像进行傅里叶变换，得到样本图像的样本傅里叶频谱特征。
73.在本实施例中，执行主体中可以装载有用于实现傅里叶变换的脚本或插件，以此可以对样本图像进行傅里叶变换，得到样本图像的样本傅里叶频谱特征。
74.例如，执行主体可以将样本图像输入opencv，得到以图像形式呈现的傅里叶频谱特征。
75.需要说明的是，傅里叶变换为数字信号领域广泛应用的成熟技术，技术人员可以通过编程软件(例如pyson、matlab)将其封装为脚本或工具，本公开在此不再赘述。
76.步骤340、将训练集中的样本图像输入预先构建的初始深度网络模型，提取样本图像的初始特征，并基于初始特征生成样本图像的样本置信度。
77.在本实施例中，初始特征可以表征初始深度网络模型基于预设的初始参数从样本图像中提取出的特征。
78.步骤350、基于初始特征与样本傅里叶频谱特征，确定傅里叶特征损失值。
79.在本实施例中，傅里叶特征损失值用于表征初始深度网络模型提取出的初始特征与样本图像的傅里叶频谱特征之间的差异。
80.作为示例，执行主体可以首先将初始特征和傅里叶特频谱特征分别映射至图像，得到初始特征图和傅里叶频谱特征图。然后将初始特征图的尺寸调整至与傅里叶频谱特征图的尺寸一致，再计算两图中对应像素点的像素值的均方差，得到各像素点的傅里叶特征损失值。之后，将各像素点的傅里叶特征损失值的汇总，得到样本图像的傅里叶特征损失值，例如可以各像素点的傅里叶特征损失值映射至向量，得到的向量即可表征样本图像的傅里叶特征损失值。
81.步骤360、基于样本置信度与样本图像的置信度标签，确定深度特征损失值。
82.在本实施例中，深度特征损失值用于表征初始深度网络模型的输出与期望输出之间的差异。例如，可以基于交叉熵确定样本图像的深度特征损失值。
83.步骤370、基于傅里叶损失值和深度特征损失值，确定初始深度网络模型的损失函数值。
84.作为示例，可以对傅里叶损失值和深度特征损失值加权求和，得到损失函数值。
85.上述步骤330至步骤370所表征的损失函数值的计算过程，可进一步结合图3(b)，图3(b)为本实施例中确定损失函数值的示意图。
86.步骤380、基于损失函数值，更新初始深度网络模型的参数，直至损失函数收敛，得到训练后的深度网络模型。
87.在本实施例中，执行主体可以利用深度网络模型的反向传播特性，基于损失函数值对初始深度网络模型的参数进行优化。由于损失函数包括了傅里叶频谱特征损失和深度特征损失，因此，通过损失函数在训练阶段对初始深度网络模型的傅里叶频谱特征和深度特征的提取进行约束，可以使深度网络模型学习傅里叶频谱特征的提取策略以及基于傅里叶频谱特征和纹理特征识别欺诈图像的识别策略，从而提高深度网络模型识别欺诈图像的准确度。
88.在实施本公开的过程中，发明人还发现，相关技术中，用于识别欺诈图像的深度网络模型往往可以在公开数据集上获得优异的表现，但在真实业务场景中的表现却较差，这是由于实践中的欺诈数据不足，模型训练阶段的训练数据较少，导致深度网络模型的泛化能力较差。
89.为了解决这个问题，在本实施例的一些可选的实现方式中，上述步骤310还可以采用图4所示的流程，图4为本公开用于识别图像的方法的一个实施例中构建样本图像的流程示意图，如图4所示，该流程包括以下步骤。
90.步骤410、从已标记置信度标签的真实图像和欺诈图像中截取出预设对象所在的图像区域，得到第一局部图像。
91.以人脸图像为例，执行主体可以采用实例分割算法，从已标记置信度标签的真实图像和欺诈图像中截取出人脸所在的区域，得到第一局部图像。
92.步骤420、响应于第一局部图像的尺寸大于预设尺寸，从第一局部图像中截取出多
个预设尺寸大小的第二局部图像。
93.在本实现方式中，每个第二局部图像中包含部分预设对象，预设尺寸为初始深度网络模型输入图像的尺寸。
94.在一个具体的示例中，假设图像(标记后的真实图像或欺诈图像)的长度为h，宽度为w，预设的深度网络模型的输入图像的长度为h，宽度为w，可以确定第二局部图像的长度的随机数范围为[0，h-h]，宽度的随机数范围为[0，w-w]。之后，执行主体可以分别在长度和宽度的随机数范围内随机选择n个整数，例如可以包括：h1，h2，...，hn以及w1，w2，...，wn。之后，执行主体根据确定出的2n个整数，裁剪出n个第二局部图像，其中，第i个第二局部图像的长度范围为hi至(hi+h)，宽度的取值范围为wi至(wi+w)。
[0095]
步骤430、将第二局部图像作为样本图像，将第二局部图像所属的真实图像或欺诈图像的置信度标签作为样本图像的置信度标签。
[0096]
通常，若图像的尺寸大于深度网络模型预设的输入图像的尺寸，则深度网络模型的输入层会将图像的尺寸重设至预设尺寸，这个过程中会造成图像特征的损失，进而影响到深度网络模型的准确度。
[0097]
此外，预设对象的各个部分各自包含的信息量存在差异，以人脸图像为例，人脸图像中的眼睛往往可以包含较多的作弊信息或者真实人脸信息，鼻子则往往包含较少的作弊信息或真是人脸信息，这两部分对于图像识别过程中的贡献也不同，受此影响，深度网络模型在训练阶段会侧重于学习眼睛的特征。这就导致深度网络模型在实际应用中的泛化能力较差，例如，如果待识别的图像中不包括眼睛，深度网络模型的识别准确度较低。
[0098]
在本实现方式中，执行主体可以从真实图像或欺诈图像中截取出多个第二局部图像，将第二局部图像作为样本图像，并继承源图像(第二局部图像所属的真实图像或欺诈图像)的置信度标签。一方面，既可以拓展样本数量，还可以确保样本图像的尺寸与深度网络模型的输入尺寸一致，避免训练时重设样本图像尺寸导致的特征丢失，以此提高深度网络模型的准确度。另一方面，第二局部图像仅包括部分预设对象的图像，可以使深度网络模型更全面的学习各个维度的特征信息，以此提高深度网络模型的泛化能力。
[0099]
接着参考图5，图5为本公开用于识别图像的方法的又一个实施例的流程示意图，如图5所示，该流程包括以下步骤。
[0100]
步骤510、将待识别图像分别输入多个不同类型的深度网络模型。
[0101]
步骤520、多个不同类型的深度网络模型分别提取待识别图像的图像特征，并基于各自提取出的图像特征生成待识别图像的置信度，得到多个置信度。
[0102]
在本实施例中，图像特征包括傅里叶频谱特征和纹理特征。执行主体可以预先装载有多个不同类型的深度网络模型，以此可以多个置信度，每个置信度表征一个类型的深度网络模型的输出结果。
[0103]
步骤530、融合多个置信度，得到目标置信度。
[0104]
作为示例，执行主体可以对多个置信度进行加权平均，得到目标置信度。或者，执行主体还可以将多个置信度的均值作为目标置信度。
[0105]
步骤540、基于目标置信度，确定待识别图像的识别结果。
[0106]
作为示例，执行主体可以对比目标置信度与预设的数值阈值，以此确定待识别图像的识别结果。
[0107]
实践中，存在多种生成欺诈图像的手段，以此得到的欺诈图像的类型也不同。一个深度网络模型可以在一种或几种类型的欺诈图像上获得较好的表现，但可能在其他类型的欺诈图像上的表现较差。
[0108]
本实施例采用多个类型的深度网络模型分别对待识别图像进行特征提取、并生成置信度，然后融合各深度网络模型输出的置信度，并以此确定识别结果，可以适用于多种类型的欺诈图像的识别，提高用于识别图像的方法的鲁棒性。
[0109]
需要说明的是，图3和图4所示的用于训练深度学习的流程，同样适用于图5所示的实施例。
[0110]
接着参考图6，图6为本公开用于识别图像的方法的又一个实施例中模型融合的流程示意图，在图5所示的流程的基础上，该方法还可以包括如下步骤。
[0111]
步骤610、响应于目标置信度处于预设数值区间，将待识别图像输入预先训练的参考深度网络模型，得到待识别图像的参考置信度。
[0112]
其中，参考深度网络模型用于提取待识别图像的图像特征、并基于提取出的图像特征生成参考置信度。
[0113]
在一个具体的示例中，预设数值区间可以是0到1的区间中的中段，例如可以取[0.4，0.6]，该区间内的数值距离0或1均较远，当目标置信度处于预设数值区间时，表示待识别图像为欺诈图像或真实图像的概率差异较小。此时，执行主体可以将待识别图像输入参考深度网络模型，得到参考置信度。
[0114]
参考深度网络模型可以从多个不同类型的深度网络模型中随机选取，也可以根据待识别图像的类型从中选取出适配性最高的深度网络模型作为参考深度网络模型。本公开对此不做限定。
[0115]
在本实施例的一个可选的实现方式中，参考深度网络模型可以经由如下步骤确定：从样本集中选取第二预设数量的样本图像，构建测试集；将测试集中的样本图像分别输入多个不同类型的深度网络模型，得到多个不同类型的深度网络模型各自输出的测试置信度；基于多个不同类型的深度网络模型各自输出的测试置信度，确定多个不同类型的深度网络模型各自的性能评估参数；将数值最大的性能评估参数对应的深度网络模型确定为参考深度网络模型。
[0116]
作为示例，性能评估参数可以基于深度网络模型的准确率(accuracy)、灵敏度(sensitive)、精确率(precision)中的一个或多个参数确定，还可以采用综合评价指标(f-measure又称f-score)作为性能评估参数。
[0117]
在本实现方式中，可以基于测试集选取出性能最高的深度网络模型作为参考深度网络模型，有助于提高参考识别结果的准确度。
[0118]
步骤620、基于参考置信度，确定待识别图像的参考识别结果。
[0119]
步骤630、基于参考识别结果，更新待识别图像的识别结果，得到更新后的识别结果。
[0120]
例如，可以直接将参考识别结果作为更新后的识别结果。
[0121]
步骤640、将更新后的识别结果确定为待识别图像的识别结果。
[0122]
在本实施例中，当目标置信度处于预设数值区间时，表示融合多个不同类型的深度网络模型的输出后得到的估计结果的区分程度较低，通过参考深度网络模型的输出对融
合后得到的识别结果进行更新，可以提高进一步识别结果的准确度。
[0123]
接着参考图7，图7为本公开用于识别图像的方法的又一个实施例中更新识别结果的流程示意图。在图6所示的一些实施例的可选的实施方式中，上述步骤步骤630可以进一步包括图7所示的流程。
[0124]
步骤710、若参考识别结果为第一预设结果，将待识别图像的识别结果更新为第一预设结果，得到更新后的识别结果。
[0125]
作为示例，第一预设结果可以是“确定待识别图像为欺诈图像”，此时，无论步骤540中得到的识别结果是否与该结果一致，执行主体可以直接将其更新为“确定待识别图像为欺诈图像”。
[0126]
步骤720、若参考识别结果为第二预设结果，融合参考置信度与目标置信度，得到融合后的置信度。
[0127]
作为示例，第二预设结果可以是“确定待识别图像为非欺诈图像”，此时，执行主体可以对融合目标置信度和参考置信度，得到融合后的置信度，例如可以采用加权平均或求均值的融合方式。
[0128]
步骤730、基于融合后的置信度，更新待识别图像的识别结果，得到更新后的识别结果。
[0129]
在本实现方式中，可以针对不同的参考识别结果，分别对初次融合后得到的识别结果采用不同的更新方式，有助于今后一步提高识别的准确度。
[0130]
示例性装置
[0131]
接着参考图8，图8示出了本公开的用于识别图像装置的一个实施例的结构示意图，如图8所示，该装置包括：图像输入单元810，被配置成：将包含有预设对象的待识别图像输入预先训练的至少一个深度网络模型，得到待识别图像的至少一个置信度，至少一个深度网络模型用于提取待识别图像的图像特征、并基于提取出的图像特征生成待识别图像的置信度，图像特征包括傅里叶频谱特征和纹理特征；结果确定单元820，被配置成：基于至少一个置信度，确定待识别图像的识别结果，识别结果表征待识别图像是否为欺诈图像。
[0132]
在本实施例中，该装置还包括模型训练单元，被配置成：基于已标记置信度标签的真实图像和欺诈图像，生成样本图像，构建样本集，真实图像和欺诈图像中均包含预设对象；从样本集中选取出第一预设数量的样本图像，作为训练集；对训练集中的样本图像进行傅里叶变换，得到样本图像的样本傅里叶频谱特征；将训练集中的样本图像输入预先构建的初始深度网络模型，提取样本图像的初始特征，并基于初始特征生成样本图像的样本置信度；基于初始特征与样本傅里叶频谱特征，确定傅里叶特征损失值；基于样本置信度与样本图像的置信度标签，确定深度特征损失值；基于傅里叶损失值和深度特征损失值，确定初始深度网络模型的损失函数值；基于损失函数值，更新初始深度网络模型的参数，直至损失函数收敛，得到训练后的深度网络模型。
[0133]
在本实施例中，模型训练单元进一步包括样本构建模块，被配置成：从已标记置信度标签的真实图像和欺诈图像中截取出预设对象所在的图像区域，得到第一局部图像；响应于第一局部图像的尺寸大于预设尺寸，从第一局部图像中截取出多个预设尺寸大小的第二局部图像，每个第二局部图像中包含部分预设对象，其中，预设尺寸为初始深度网络模型输入图像的尺寸；将第二局部图像作为样本图像，将第二局部图像所属的真实图像或欺诈
图像的置信度标签作为样本图像的置信度标签。
[0134]
在本实施例中，至少一个深度网络模型包括多个不同类型的深度网络模型；图像输入单元810包括：输入模块，被配置成将待识别图像分别输入多个不同类型的深度网络模型；输出模块，被配置成多个不同类型的深度网络模型分别提取待识别图像的图像特征，并基于各自提取出的图像特征生成待识别图像的置信度，得到多个置信度；结果确定单元820，包括：融合模块，被配置成融合多个置信度，得到目标置信度；确定模块，被配置成基于目标置信度，确定待识别图像的识别结果。
[0135]
在本实施例中，该装置还包括：参考置信度单元，被配置成；响应于目标置信度处于预设数值区间，将待识别图像输入预先训练的参考深度网络模型，得到待识别图像的参考置信度，其中，参考深度网络模型用于提取待识别图像的图像特征、并基于提取出的图像特征生成参考置信度；参考结果单元，被配置成基于参考置信度，确定待识别图像的参考识别结果；结果更新单元，被配置成基于参考识别结果，更新待识别图像的识别结果，得到更新后的识别结果；结果确定单元820，还被配置成将更新后的识别结果确定为待识别图像的识别结果。
[0136]
在本实施例中，结果更新单元进一步包括：第一更新模块，被配置成若参考识别结果为第一预设结果，将待识别图像的识别结果更新为第一预设结果，得到更新后的识别结果；第二更新模块，被配置成若参考识别结果为第二预设结果，融合参考置信度与目标置信度，得到融合后的置信度；基于融合后的置信度，更新待识别图像的识别结果，得到更新后的识别结果。
[0137]
在本实施例中，该装置还包括模型确定单元，被配置成：从样本集中选取第二预设数量的样本图像，构建测试集；将测试集中的样本图像分别输入多个不同类型的深度网络模型，得到多个不同类型的深度网络模型各自输出的测试置信度；基于多个不同类型的深度网络模型各自输出的测试置信度，确定多个不同类型的深度网络模型各自的性能评估参数；将数值最大的性能评估参数对应的深度网络模型确定为参考深度网络模型。
[0138]
另外，本公开实施例还提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的用于识别图像的方法。
[0139]
图9为本公开电子设备一个应用实施例的结构示意图。下面，参考图9来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
[0140]
如图9所示，电子设备包括一个或多个处理器和存储器。
[0141]
处理器可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
[0142]
存储器可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行所述程序指令，以实现上文所述的本公开的
各个实施例的用于识别图像的方法以及/或者其他期望的功能。
[0143]
在一个示例中，电子设备还可以包括：输入装置和输出装置，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
[0144]
此外，该输入设备还可以包括例如键盘、鼠标等等。
[0145]
该输出装置可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
[0146]
当然，为了简化，图9中仅示出了该电子设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。
[0147]
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的用于识别图像的方法中的步骤。
[0148]
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0149]
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的用于识别图像的方法中的步骤。
[0150]
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0151]
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0152]
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
[0153]
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部
分说明即可。
[0154]
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0155]
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
[0156]
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
[0157]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0158]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
技术特征：1.一种用于识别图像的方法，其特征在于，包括：将包含有预设对象的待识别图像输入预先训练的至少一个深度网络模型，得到所述待识别图像的至少一个置信度，所述至少一个深度网络模型用于提取所述待识别图像的图像特征、并基于提取出的图像特征生成所述待识别图像的置信度，所述图像特征包括傅里叶频谱特征和纹理特征；基于所述至少一个置信度，确定所述待识别图像的识别结果，所述识别结果表征所述待识别图像是否为欺诈图像。2.根据权利要求1所述的方法，其特征在于，所述至少一个深度网络模型经由如下步骤训练得到：基于已标记置信度标签的真实图像和欺诈图像，生成样本图像，构建样本集，所述真实图像和欺诈图像中均包含所述预设对象；从所述样本集中选取出第一预设数量的样本图像，作为训练集；对所述训练集中的样本图像进行傅里叶变换，得到所述样本图像的样本傅里叶频谱特征；将所述训练集中的样本图像输入预先构建的初始深度网络模型，提取所述样本图像的初始特征，并基于所述初始特征生成所述样本图像的样本置信度；基于所述初始特征与所述样本傅里叶频谱特征，确定傅里叶特征损失值；基于所述样本置信度与所述样本图像的置信度标签，确定深度特征损失值；基于所述傅里叶损失值和所述深度特征损失值，确定所述初始深度网络模型的损失函数值；基于所述损失函数值，更新所述初始深度网络模型的参数，直至所述损失函数收敛，得到训练后的深度网络模型。3.根据权利要求2所述的方法，其特征在于，基于已标记置信度标签的真实图像和欺诈图像，生成样本图像，包括：从所述已标记置信度标签的真实图像和欺诈图像中截取出所述预设对象所在的图像区域，得到第一局部图像；响应于所述第一局部图像的尺寸大于预设尺寸，从所述第一局部图像中截取出多个预设尺寸大小的第二局部图像，每个所述第二局部图像中包含部分所述预设对象，其中，所述预设尺寸为所述初始深度网络模型输入图像的尺寸；将所述第二局部图像作为所述样本图像，将所述第二局部图像所属的真实图像或欺诈图像的置信度标签作为所述样本图像的置信度标签。4.根据权利要求1至3之一所述的方法，其特征在于，所述至少一个深度网络模型包括多个不同类型的深度网络模型；将待识别图像输入预先训练的至少一个深度网络模型，得到所述待识别图像的至少一个置信度，包括：将所述待识别图像分别输入所述多个不同类型的深度网络模型；所述多个不同类型的深度网络模型分别提取所述待识别图像的图像特征，并基于各自提取出的图像特征生成所述待识别图像的置信度，得到多个置信度；基于所述至少一个置信度，确定所述待识别图像的识别结果，包括：融合所述多个置信度，得到目标置信度；基于所述目标置信度，确定所述待识别图像的识别结果。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：响应于所述目标置信度处于预设数值区间，将所述待识别图像输入预先训练的参考深度网络模型，得到所述待识别图像的参考置信度，其中，所述参考深度网络模型用于提取所述待识别图像的图像特征、并基于提取出的图像特征生成所述参考置信度；基于所述参考置信度，确定所述待识别图像的参考识别结果；基于所述参考识别结果，更新所述待识别图像的识别结果，得到更新后的识别结果；以及，将更新后的识别结果确定为所述待识别图像的识别结果。6.根据权利要求5所述的方法，其特征在于，基于所述参考识别结果，更新所述待识别图像的识别结果，得到更新后的识别结果，包括：若所述参考识别结果为第一预设结果，将所述待识别图像的识别结果更新为所述第一预设结果，得到所述更新后的识别结果；若所述参考识别结果为第二预设结果，融合所述参考置信度与所述目标置信度，得到融合后的置信度；基于所述融合后的置信度，更新所述待识别图像的识别结果，得到所述更新后的识别结果。7.根据权利要求5或6所述的方法，其特征在于，所述参考深度网络模型经由如下步骤确定：从所述样本集中选取第二预设数量的样本图像，构建测试集；将所述测试集中的样本图像分别输入所述多个不同类型的深度网络模型，得到所述多个不同类型的深度网络模型各自输出的测试置信度；基于所述多个不同类型的深度网络模型各自输出的测试置信度，确定所述多个不同类型的深度网络模型各自的性能评估参数；将数值最大的性能评估参数对应的深度网络模型确定为所述参考深度网络模型。8.一种用于识别图像的装置，其特征在于，包括：图像输入单元，被配置成：将包含有预设对象的待识别图像输入预先训练的至少一个深度网络模型，得到所述待识别图像的至少一个置信度，所述至少一个深度网络模型用于提取所述待识别图像的图像特征、并基于提取出的图像特征生成所述待识别图像的置信度，所述图像特征包括傅里叶频谱特征和纹理特征；结果确定单元，被配置成：基于所述至少一个置信度，确定所述待识别图像的识别结果，所述识别结果表征所述待识别图像是否为欺诈图像。9.一种电子设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-7任一所述的方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现上述权利要求1-7任一所述的方法。11.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现上述权利要求1-7任一所述的方法。
技术总结本公开实施例公开了一种用于识别图像的方法、装置、电子设备、存储介质和计算机程序产品，其中，方法包括：将包含有预设对象的待识别图像输入预先训练的至少一个深度网络模型，得到待识别图像的至少一个置信度，至少一个深度网络模型用于提取待识别图像的图像特征、并基于提取出的图像特征生成待识别图像的置信度，图像特征包括傅里叶频谱特征和纹理特征；基于至少一个置信度，确定待识别图像的识别结果，识别结果表征待识别图像是否为欺诈图像。可以基于待识别图像的傅里叶频谱特征和纹理特征确定待识别图像是否为欺诈图像，从而提高识别欺诈图像的准确度。欺诈图像的准确度。欺诈图像的准确度。
技术研发人员：时晓斐 马英楠
受保护的技术使用者：贝壳找房网（北京）信息技术有限公司
技术研发日：2022.03.23
技术公布日：2022/7/5
