一种图像处理方法和相关模型训练方法及相关装置与流程

allin2023-12-06  227



1.本技术涉及图像处理技术领域,特别是涉及一种图像处理方法和相关模型训练方法及相关装置。


背景技术:

2.目前,随着图形学和机器视觉的日益发展,人们将机器视觉应用于日常生活和各行业中,特别是关于生产得到的产品的异常检测上。例如,在各类商品的生产过程中,印刷商品标签容易出现各种类型的缺陷,如飞墨、斑点、褶皱、异物、漏印、划痕、刀丝等,故需利用机器视觉对印刷商品的这些缺陷情况进行检测。
3.现有的缺陷检测方式通常是,对待检测的对象进行图像拍摄,利用正常状态下的对象的图像与拍摄到的图像进行比对,确定该对象是否存在缺陷情况。然而,每次生产的对象本身存在差异,故用于参考的正常状态下的对象图像也需要随之改变,故如何获得正常状态下的对象图像对缺陷检测具有重大意义。


技术实现要素:

4.本技术主要解决的技术问题是提供一种图像处理方法和相关模型训练方法及相关装置,能够实现无缺陷状态的对象图像重构,且减低重构难度。
5.为解决上述技术问题,本技术采用的一个技术方案是:提供一种图像处理方法,该方法包括:获取目标对象的原始图像;利用原始图像得到多张目标子图像,其中,每张目标子图像均包含部分目标对象,且多张目标子图像的组合包含目标对象;利用图像重构模型对多张目标子图像进行重构处理,得到分别与多张目标子图像对应的多张重构子图像,其中,图像重构模型是利用包含无缺陷状态的样本对象的正样本图像训练得到的,多张重构子图像的组合用于表示处于无缺陷状态的目标对象。
6.其中,利用原始图像得到多张目标子图像,包括:将原始图像进行区域拆分,以得到多个第一图像区域,第一图像区域包含目标对象的不同部分;对于每个第一图像区域,利用原始图像中除第一图像区域以外的第二图像区域的像素值,得到与第一图像区域对应的目标子图像。
7.其中,将原始图像拆分成多个第一图像区域,包括:采用平均划分或随机划分的方式,将原始图像中的像素点划分为多份,其中,每份像素点组成一个第一图像区域;其中,原始图像和目标子图像的尺寸相同,且在与第一图像区域对应的目标子图像中,对应第一图像区域的像素值为预设像素值,且对应第二图像区域的像素值不变。
8.其中,多张重构子图像分别包含目标对象的不同部分;和/或,重构子图像与对应的目标子图像分别包含目标对象的不同部分,且每组重构子图像与对应的目标子图像的组合均包含目标对象。
9.其中,图像重构模型为卷积自编码器,卷积自编码器包括编码器模块和解码器模块;
10.其中,在利用图像重构模型对多张目标子图像进行重构处理,得到分别与多张目标子图像对应的多张重构子图像前,该图像处理方法还包括以下图像重构模型的训练步骤:利用正样本图像得到多张第一样本子图像,其中,每张第一样本子图像均包含部分无缺陷状态的样本对象,且多张第一样本子图像的组合包含无缺陷状态的样本对象;利用图像重构模型对多张第一样本子图像进行重构处理,得到分别与多张第一样本子图像对应的多张样本重构子图像;利用每张样本重构子图像和对应的第二样本子图像之间的差异,调整图像重构模型的网络参数,其中,与样本重构子图像对应的第二样本子图像与样本重构子图像均包含目标对象的相同部分。
11.其中,利用正样本图像得到多张第一样本子图像,包括:将正样本图像进行区域拆分,以得到多个第一样本区域,第一样本区域包含样本对象的不同部分;对于每个第一样本区域,利用正样本图像中第一样本区域的像素值,得到与第一样本区域对应的第二样本子图像,并利用正样本图像中第二图像区域的像素值,得到与第一样本区域对应的第一样本子图像。
12.其中,利用图像重构模型对多张目标子图像进行重构处理,得到分别与多张目标子图像对应的多张重构子图像,或者,利用图像重构模型对多张第一样本子图像进行重构处理,得到分别与多张第一样本子图像对应的多张样本重构子图像,包括:将多张目标子图像/多张第一样本子图像作为多张输入图像、多张重构子图像/多张样本重构子图像作为多张输出图像;利用所述编码器模块执行:对输入图像进行第一卷积处理,得到输入图像的卷积特征,并基于卷积特征,得到输入图像的图像特征;利用解码器模块对输入图像的图像特征进行解码处理,得到输入图像对应的输出图像。
13.其中,对所述输入图像进行第一卷积处理,得到输入图像的卷积特征,包括:利用预设卷积核对输入图像进行第一卷积处理,得到输入图像的卷积特征,其中,预设卷积核是利用至少一张用于训练图像重构模型的正样本图像中的特征确定的;
14.其中,基于卷积特征,得到输入图像的图像特征,包括:融合卷积特征和输入图像,得到融合特征;对融合特征进行第二卷积处理,得到输入图像的图像特征。
15.其中,在利用预设卷积核对输入图像进行第一卷积处理,得到输入图像的卷积特征之前,该图像处理方法还包括:对于每张正样本图像,利用正样本图像的像素值,得到正样本图像的特征向量;选择满足预设特征条件的至少一张正样本图像的特征向量;利用选择的特征向量组建得到预设卷积核。
16.其中,利用正样本图像的像素值,得到正样本图像的特征向量,包括:对正样本图像进行滑窗处理,得到若干个滑窗对应的图像区域;将每个图像区域中对应的像素点的像素值统计,得到对应像素点的特征值,并利用统计得到的各对应像素点的特征值,组成正样本的特征向量;其中,选择满足预设特征条件的至少一张正样本图像的特征向量,包括:将每张正样本图像的特征向量的向量特征值从高到低排序,选择前预设数量的特征向量。
17.其中,在利用图像重构模型对多张目标子图像进行重构处理,得到分别与多张目标子图像对应的多张重构子图像之后,该图像处理方法还包括:利用多张重构子图像组成参考图像;利用参考图像对原始图像进行关于目标对象的缺陷检测,得到原始图像中的目标对象的缺陷检测结果。
18.其中,目标对象为印刷品,缺陷为印刷缺陷。
19.其中,利用参考图像对原始图像进行关于目标对象的缺陷检测,得到原始图像中的目标对象的缺陷检测结果,包括:对原始图像与参考图像的对应像素点的像素值做差,得到重构误差;判断重构误差是否小于预设阈值;若是,则确定原始图像中的目标对象无缺陷,若否,则确定原始图像中的目标对象存在缺陷。
20.为解决上述技术问题,本技术采用的另一个技术方案是:提供一种图像重构模型的训练方法,该包括:获取包含无缺陷状态的样本对象的正样本图像;利用正样本图像得到多张第一样本子图像,其中,每张第一样本子图像均包含部分无缺陷状态的样本对象,且多张第一样本子图像的组合包含无缺陷状态的目标对象;利用图像重构模型对多张第一样本子图像进行重构处理,得到分别与多张第一样本子图像对应的多张样本重构子图像;利用每张样本重构子图像和对应的第二样本子图像之间的差异,调整图像重构模型的网络参数,其中,与样本重构子图像对应的第二样本子图像与样本重构子图像均包含目标对象的相同部分。
21.其中,利用图像重构模型对多张第一样本子图像进行重构处理,得到分别与多张第一样本子图像对应的多张样本重构子图像,包括:利用图像重构模型的编码器模块执行对第一样本子图像进行第一卷积处理,得到第一样本子图像的卷积特征,并基于该卷积特征,得到第一样本子图像的图像特征;利用图像重构模型的解码器模块对第一样本子图像的图像特征进行解码处理,得到第一样本子图像对应的样本重构子图像。
22.其中,对第一样本子图像进行第一卷积处理,得到第一样本子图像的卷积特征,包括:利用预设卷积核对第一样本子图像进行第一卷积处理,得到第一样本子图像的卷积特征,其中,预设卷积核是利用至少一张用于训练所述图像重构模型的正样本图像中的特征确定的;
23.其中,基于所述卷积特征,得到第一样本子图像的图像特征,包括:融合卷积特征和第一样本子图像,得到融合特征;对融合特征进行第二卷积处理,得到第一样本子图像的图像特征。
24.其中,在利用预设卷积核对第一样本子图像进行第一卷积处理,得到第一样本子图像的卷积特征之前,该方法还包括:对于每张正样本图像,利用正样本图像的像素值,得到正样本图像的特征向量;选择满足预设特征条件的至少一张所述正样本图像的特征向量;利用选择的特征向量组建得到所述预设卷积核。
25.为解决上述技术问题,本技术采用的另一个技术方案是:提供一种图像处理装置,该装置包括:获取模块,用于获取目标对象的原始图像;组成模块,利用原始图像得到多张目标子图像,其中,每张目标子图像均包含部分目标对象,且多张目标子图像的组合包含目标对象;处理模块,利用图像重构模型对多张目标子图像进行重构处理,得到分别与多张目标子图像对应的多张重构子图像,其中,图像重构模型是利用包含无缺陷状态的样本对象的正样本图像训练得到的,多张重构子图像的组合用于表示处于无缺陷状态的所述目标对象。
26.为解决上述技术问题,本技术采用的又一个技术方案是:提供一种图像处理模型的训练装置,该装置包括:样本获取模块,获取包含无缺陷状态的样本对象的正样本图像;样本组成模块,利用正样本图像得到多张第一样本子图像,其中,每张第一样本子图像均包含部分无缺陷状态的样本对象,且多张第一样本子图像的组合包含无缺陷状态的目标对
象;样本处理模块,利用图像重构模型对多张第一样本子图像进行重构处理,得到分别与多张第一样本子图像对应的多张样本重构子图像;调整模块,利用每张样本重构子图像和对应的第二样本子图像之间的差异,调整图像重构模型的网络参数,其中,与样本重构子图像对应的第二样本子图像与样本重构子图像均包含目标对象的相同部分。
27.为解决上述技术问题,本技术采用的又一个技术方案是:提供一种图像处理设备,该设备包括相互耦接的存储器和处理器,存储器存储有程序指令;处理器用于执行所述存储器中存储的程序指令,以实现上述图像处理方法,和/或,实现图像重构模型的训练方法。
28.为解决上述技术问题,本技术采用的又一个技术方案是:提供一种计算机可读存储介质,该计算机可读存储介质用于存储程序指令,程序指令能够被执行以实现上述图像处理方法,和/或,实现图像处理模型的训练方法。
29.上述方案,利用获取的目标对象的原始图像得到多张目标子图像,再利用图像重构模型对多张目标子图像进行重构处理,得到分别与多张目标子图像对应的多张重构子图像,其中,图像重构模型是利用包含无缺陷状态的样本对象的正样本图像训练得到的,多张重构子图像的组合用于表示处于无缺陷状态的目标对象。由于本技术方案是利用多张目标子图像得到多张重构子图像,即图像重构模型的输入图像和输出图像均为包含目标对象部分图像区域的图像,因此,能够实现无缺陷状态的对象图像的重构,而且本技术方案中图像重构模型的输入图像和输出图像相比于原始图像的图像特征数量都大大减少,故降低图像重构模型对单张输入图像的处理量,而且由于重构区域的尺寸从整个原始图像缩小至局部图像,降低了图像重构模型的训练难度,故降低了实现无缺陷状态的对象图像重构的难度。
30.进一步地,在训练过程中,对应是利用正样本图像划分得到的多张子图像对图像重构模型进行训练,相比于利用整张正样本图像进行训练,利用子图像训练的方式,可以使得训练样本扩增若干倍,更有利于图像重构模型的训练。
31.进一步地,本技术图像重构模型中的编码器模块可以是利用预设卷积核对输入图像进行卷积处理,该预设卷积核是基于训练过程中的正样本图像的特征预先确定的,训练图像重构模型的目的是为了获得能实现图像重构效果的卷积核,因此该预设卷积核的预先确定可大大降低图像重构模型的训练难度。
32.进一步地,利用正样本图像得到的预设卷积核对输入图像进行第一卷积处理,得到输入图像的卷积特征,再将获得的输入图像的卷积特征和输入图像进行融合得到融合特征,并对该融合特征进行第二卷积处理,得到输入图像的图像特征,由于对输入图像进行第一卷积处理是降维的过程,该过程会使输入图像中较大的特征得以保留,而一些微小特征容易缺失,因此,对输入图像和输入图像经第一卷积处理得到的卷积特征进行融合,并对该融合特征进行第二卷积处理,可使输入图像和模型输出的图像中的微小特征得以保留,因此,经该过程训练的图像重构模型能更加精确的重构出输入图像的微小特征,便于后续的图像检测结果更加准确。
附图说明
33.图1a是本技术提供的图像处理方法一实施例的流程示意图;
34.图1b是图1a图像处理方法一实施例中各个图像的形成示意图;
35.图2是本技术提供的图像重构模型训练方法一实施例的流程示意图。
36.图3是本技术图像处理方法中图像重构处理一实施例的流程示意图。
37.图4a是图2中提供的重构模型训练方法中确定预设卷积核一实施例的流程示意图;
38.图4b是图4a一实施例中预设卷积核的形成示意图;
39.图5a是本技术提供的图像处理方法一实施例的流程示意图;
40.图5b是本技术提供的图像处理方法一实施例中各个图像的形成示意图;
41.图6是本技术提供的图像处理装置一实施例的框架示意图;
42.图7是本技术提供的图像重构模型的训练装置一实施例的框架示意图;
43.图8是本技术提供的图像处理设备一实施例的框架示意图;
44.图9是本技术提供的计算机可读存储介质的框架示意图。
具体实施方式
45.为使本技术的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本技术进一步详细说明。
46.需要说明的是,若本技术实施例中有涉及“第一”、“第二”等的描述,则该“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本技术要求的保护范围之内。
47.参阅图1a,图1a是本技术提供的图像处理方法一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图1a所示的流程顺序为限。本实施例的方法用于利用获取的目标对象的原始图像得到多张目标子图像,再利用图像重构模型对多张目标子图像进行重构处理,得到分别与多张目标子图像对应的多张重构子图像。
48.如图1a所示,本实施例方法包括:
49.步骤s110:获取目标对象的原始图像。
50.本文所述的目标对象的原始图像是反映目标对象真实状况的影像图像,其中,目标对象可以是任何实物,例如杯子、古董、包装袋等;也可以是任何实物的图像,比如任何商品的印刷标签、手工画等。该目标对象的原始图像可以是目标实物任一方向的影像图像,也可以是目标实物已有图像的影像图像。该目标对象的原始图像可通过相机拍摄或扫描等方式获得,获得的目标对象的原始图像可以是无缺陷状态的图像,也可以是存在某些缺陷的图像,具体的图像的获得方式以及图像状态,此处均不做具体限定。可以理解的是,本文所述的目标对象可以理解为物体被拍摄或扫描到的部分,即如果对商品的印刷标签进行拍摄,且只拍摄到印刷标签的一半,则该被拍摄到的一半标签作为目标对象。
51.步骤s120:利用原始图像得到多张目标子图像。
52.本实施例中,通过将原始图像进行区域拆分,以得到多张目标子图像。
53.具体地,先将原始图像进行区域拆分,以得到多个第一图像区域,其中,第一图像区域包含目标对象的不同部分。在一些实施例中,可采用平均划分或随机划分的方式,将原始图像中的像素点划分为多份,其中,每份像素点组成一个第一图像区域;例如,如图1b所
示,原始图像100为4
×
4的图像,包含1-16的16个像素点,将该原始图像的像素点平均分成4份,则可将该原始图像平均拆分出4个第一图像区域11(由图1b中的阴影部分表示),其中,每一个第一图像区域11包含了原始图像100的不同部分,拆分的每一个第一图像区域组合形成完整的原始图像100,且每一份第一图像区域的像素点的个数均为原始图像总像素点数的四分之一,即每一份第一图像区域的像素点的个数均为4个;又如,原始图像100为4
×
4的图像,一共包含1-16的16个像素点,将原始图像100的像素点随机分成4份,则每份像素点的数量可相同或不同,且4份像素点的个数综合为原始图像的总像素点数,即拆分的4个第一图像区域11可以组合形成完整的原始图像100,比如随机分成的4份像素点的个数可以是分别对应原始像素点的2个、4个、6个、4个,也可以是1个、3个、5个、7个,且拆分的像素点可以是相邻的,也可以是隔开的,具体拆分方法和拆分的像素点的位置状态,此处不做具体限定。
54.然后,以上述将原始图像平均拆分出4个第一图像区域11(由图1b中的阴影部分表示)为例,对于获得的每个第一图像区域11,利用原始图像100中除第一图像区域以外的第二图像区域12的像素值(由图1b中的阴影部分表示),得到与第一图像区域对应的目标子图像13。且获得的每张目标子图像13均包含部分目标对象,多张目标子图像13的组合包含目标对象(若原始图像为无缺陷图像,则多张目标子图像的组合组成该目标对象;若原始图像为包含缺陷的图像,则多张目标子图像的组合包含该目标对象),即获得的每张目标子图像13均包含原始图像第二图像区域12的像素值,且多张目标子图像13的组合可构成完整的原始图像100。且原始图像100和通过原始图像获得的多张目标子图像13的尺寸相同。其中,在与第一图像区域11对应的目标子图像13中,对应第一图像区域11的像素值为预设像素值,对应第二图像区域12的像素值不变,换句话说,目标子图像13的图像区域包括两个部分,分别对应原始图像100的第一图像区域11和第二图像区域12,其中,对应原始图像100第一图像区域11的像素值均填充为预设像素值,该预设像素值是固定的任何像素值,该预设像素值可以但不限于是0、或255;而目标子图像13中对应原始图像第二图像区域12的像素值不变,即为原始图像中第二图像区域12的像素值。
55.步骤s130:利用图像重构模型对多张目标子图像进行重构处理,得到分别与多张目标子图像对应的多张重构子图像。
56.本实施例中,利用图像重构模型对多张目标子图像进行重构处理,得到分别与多张目标子图像对应的多张重构子图像。其中,该图像重构模型是利用包含无缺陷状态的样本对象的正样本图像训练得到的。因此,无论输入图像是否包含缺陷,利用该图像重构模型重构的多张重构子图像均是无缺陷的图像,更具体地,经过该重构处理可以重构出目标子图像相对于原始图像缺少的在无缺陷状态下的第一图像区域的图像,即重构出的多张重构子图像与原始图像尺寸相同,且该多张重构子图像均包括两个部分,一部分为图像的位置和像素值为与原始图像中在无缺陷状态下的第一图像区域位置和像素值一一对应的图像,另一部分图像的位置为与原始图像中第二图像区域位置对应,但像素值为预设像素值的图像,因此,多张重构子图像与对应的目标子图像分别包含目标对象的不同部分,且每组重构子图像与对应的目标子图像的组合均包含目标对象,因为重构出的多张重构子图像为包含无缺陷状态下的第一图像区域的图像,且由步骤s120可知,多个第一图像区域是由原始图像拆分得到的,且多个第一图像区域的像素点对应结合构成该原始图像,因此,重构出的多
张重构子图像的组合能够表示出完整的目标对象,且由于图像重构模型是利用正样本图像训练得到,故输出的重构子图像能够表示无缺陷状态的目标对象的部分,即重构出的多张重构子图像的组合能够用于表示处于无缺陷状态的目标对象。继续以上述将原始图像100平均拆分出4个第一图像区域11(由图1b中的阴影部分表示)为例,经图像重构模型得到的是分别与多张目标子图像13对应的多张重构子图像14。重构子图像14与对应的目标子图像13分别包括目标对象的不同部分,且重构子图像14与对应的目标子图像13分别包含的目标对象的部分能够组成该目标对象。可以理解的是,重构子图像14与对应的目标子图像13分别包含的目标对象部分是对应不同的目标对象的状态。例如,目标子图像13包含目标对象对应像素点3、5、6、8-16的部分,该部分为原始状态下(本文所述的原始状态为拍摄得到原始图像时目标对象的状态,此时目标对象可能是有缺陷,也可能是无缺陷)的目标对象的一部分;重构子图像14包含目标对象对应像素点1、2、4、7的部分,该部分为无缺陷状态下的目标对象的一部分。
57.本实施例是利用获取的目标对象的原始图像得到多张目标子图像,再利用图像重构模型对多张目标子图像进行重构处理,得到分别与多张目标子图像对应的多张重构子图像,其中,图像重构模型是利用包含无缺陷状态的样本对象的正样本图像训练得到的,多张重构子图像的组合用于表示处于无缺陷状态的目标对象。由于本技术方案是利用多张目标子图像得到多张重构子图像,即图像重构模型的输入图像和输出图像均为包含目标对象部分图像区域的图像,因此,能够实现无缺陷状态的对象图像的重构,而且本技术方案中图像重构模型的输入图像和输出图像相比于原始图像的图像特征数量都大大减少,故降低图像重构模型对单张输入图像的处理量,而且由于重构区域的尺寸从整个原始图像缩小至局部图像,降低了图像重构模型的训练难度,故降低了实现无缺陷状态的对象图像重构的难度。
58.另外,本文提到的图像重构模型是一种能自动对目标子图像进行图像重构处理的模型,在一些实施例中,该图像重构模型为卷积自编码器,该卷积自编码器是一种自监督神经网络模型,包括编码器模块和解码器模块,编码器模块用于获取图像的特征信息和大致的位置信息,解码器模块用于将获得的信息对应到具体的像素点上,以得到对应图像对应的像素点。可以理解的是,该图像重构模型也可以为其它能够对图像进行重构的网络结构,在此对图像重构模型的网络结构不做具体限定。
59.其中,该图像重构模型的训练过程可参考图2的相关描述。在一些实施例中,在步骤s130之前(包括在步骤s110之前),本技术图像处理方法还包括图2相关实施例中的步骤。
60.请参阅图2,图2是本技术提供的图像处理方法中模型训练过程一实施例的流程示意图。本实施例中,图像重构模型的训练过程包括:
61.步骤s210:获取包含无缺陷状态的样本对象的正样本图像。
62.无缺陷状态表示样本对象的正样本图像不存在任何瑕疵,该正样本图像是样本对象的影像图像,无缺陷状态的正样本图像表示该样本对象真实的样子或状态,该样本对象可以是任何物体或任何物体的图像,该正样本图像的获得方式可参考步骤s110所述的目标对象的原始图像的获得方式,此处不做过多赘述。
63.步骤s220:利用正样本图像得到多张第一样本子图像。
64.在本实施例中,通过将正样本图像进行区域拆分,以得到多张第一样本子图像。
65.具体地,先将正样本图像进行区域拆分以得到多个第一样本区域,其中,第一样本
区域包含样本对象的不同部分;其中,多个第一样本区域的拆分方式可参考步骤s120中利用原始图像进行区域拆分,得到多个第一图像区域的拆分方式,此处不做过多赘述。
66.然后,对于每个第一样本区域,利用正样本图像中第一样本区域的像素值,得到与第一样本区域对应的第二样本子图像,具体地,将正样本图像中除第一样本区域以外的第二样本区域的像素值设为预设像素值,该预设像素值可以为固定的任何像素值,同时将正样本图像中第一样本区域的像素值保留,得到与第一样本区域对应的第二样本子图像,通过这种方式得到的第二样本子图像包含两部分图像区域,其中一部分图像区域的位置和像素值为与正样本图像中第一样本区域相同位置且相同像素值的图像,另一部分图像的位置与正样本图像中第二样本区域位置相同,但该部分图像的像素值为设定的预设像素值。
67.同时,利用正样本图像中第二图像区域的像素值,得到与第一样本区域对应的第一样本子图像。具体地,正样本图像、第一样本子图像的尺寸相同,且在与第一样本区域对应的第一样本子图像中,对应第一样本区域的像素值为预设像素值,且对应第二样本区域的像素值不变,通过这种方式得到的第一样本子图像同样包括另部分图像区域,其中一部分图像区域的位置和像素值为与正样本图像中第二样本区域相同位置且相同像素值的图像,另一部分图像的位置与正样本图像中第一样本区域位置相同,但该部分图像的像素值为设定的预设像素值。由此可知,本实施例中,通过将正样本图像进行区域拆分得到多张第一样本子图像的方法是,将正样本图像分成多个第一图像区域,以及分别与多个第一图像区域对应的第二图像区域,其中,第一图像区域和对应的第二图像区域不存在区域重叠,且多个第一图像区域和多个第二图像区域一一对应组合构成完整的正样本图像。因此,利用正样本图像的每一组第一图像区域和对应的第二图像区域组成同正样本图像相同尺寸的上述第二样本子图像和第一样本子图像,其中,第二样本子图像为保留正样本图像第一图像区域位置和像素点,且剩余区别于正样本图像的第二图像区域为预设像素点填充的图像;相反地,第一样本子图像为保留正样本图像第二图像区域位置和像素点,且剩余区别于正样本图像的第一图像区域为预设像素点填充的图像。
68.其中,第一样本子图像的获得方式可不限于上述方法,更进一步地,可以将第二样本子图像的第二图像区域的预设像素值设定为0,即而采用对正样本图像和多张第二样本子图像一一做差的方式,得到该第二样本子图像对应的第一样本子图像。其中,因为正样本图像为无缺陷状态的图像,因此,通过正样本图像得到的每张第一样本子图像均包含部分无缺陷状态的样本对象,且多张第一样本子图像的组合包含无缺陷状态的样本对象。
69.步骤s230:利用图像重构模型对多张第一样本子图像进行重构处理,得到分别与多张第一样本子图像对应的多张样本重构子图像。
70.其中,关于该图像重构模型对多张第一样本子图像进行重构处理进行去重处理,得到分别与多张第一样本子图像对应的多张样本重构子图像以及相关的网络结构介绍,可参考上述步骤s130的描述,在此不做赘述。
71.在一些实施例中,正样本图像、多张第一样本子图像和多张样本重构子图像均为相同尺寸。
72.步骤s240:利用每张样本重构子图像和对应的第二样本子图像之间的差异,调整图像重构模型的网络参数。
73.其中,与样本重构子图像对应的第二样本子图像与样本重构子图像均包含目标对
象的相同部分。且第二样本子图像为第一样本子图像的重构标准,在重构模型训练过程中,可根据样本重构子图像和第二样本子图像之间的差异,以得到当前图像重构模型的损失,进而利用得到的损失调整图像重构模型的网络参数。当样本重构子图像和第二样本子图像之间的差异达到预设要求,和/或训练次数达到预设要求时,则表示图像重构模型训练完成。该预设要求可根据实际情况,在一些具体应用中,该预设要求可以是以不影响后续图像比对为基础,在此不做具体限定。请参阅图1b,如图1b所示:正样本图像对应图1b中上述实施例的原始图像100,第一图像区域对应图1b中第一图像区域11,第二图像区域对应图1b中第二图像区域12,第二样本子图像对应图1b中包含第一图像区域11的图像,第一样本图像对应图1b中目标子图像13,样本重构子图像对应图1b中重构子图像14。
74.进一步地,在训练过程中,对应是利用正样本图像划分得到的多张子图像对图像重构模型进行训练,相比于利用整张正样本图像进行训练,利用子图像训练的方式,可以使得训练样本扩增若干倍,更有利于图像重构模型的训练。
75.图像重构模型在训练过程中,对应是利用正样本图像划分得到的多张子图像对图像重构模型进行训练,相比于利用整张正样本图像进行训练,利用样本子图像训练的方式,可以使得训练样本扩增若干倍,更有利于图像重构模型的训练;且模型在训练过程中利用样本重构子图像与第二样本子图像的差异调整该网络模型,故利用训练好的该模型对图像进行重构,能达到一定的图像重构效果和质量。进一步地,图像重构模型在训练过程中,是利用图像数据自动学习的,这意味着经训练得到的图像重构模型可实现图像的自动重构,重构效率高,且该模型在大量样本的支持下,学习的不是样本图像本身,而是利用已知像素预测未知像素,学习的是图像重构的功能,因此,也可将未经训练的其他类型的图像进行重构,因此可提高该图像重构模型的图像适用范围。
76.本文无论是步骤s130中对多张目标子图像进行重构处理,得到分别与多张目标子图像对应的多张重构子图像,还是步骤s230中对多张第一样本子图像进行重构处理,得到分别与多张第一样本子图像对应的多张样本重构子图像,均利用的是上述图像重构模型,为了方便下文解说,将多张目标子图像/多张第一样本子图像统一称为多张输入图像,并将多张重构子图像/多张样本重构子图像统一称为多张输出图像。
77.请参阅图3,图3是本技术图像处理方法中图像重构处理一实施例的流程示意图。具体步骤如下:
78.步骤s310:利用编码器模块对输入图像进行第一卷积处理,得到输入图像的卷积特征。
79.具体地,利用编码器模块中的预设卷积核对输入图像进行第一卷积处理,得到输入图像的卷积特征。其中,该预设卷积核是利用至少一张用于训练图像重构模型的正样本图像中的特征确定的,利用该确定的预设卷积核对输入图像进行处理,以提取出输入图像的有效特征信息。由于利用图像训练编码器的目的是为了得到可提取图像有效信息的卷积核,且该预设卷积核是利用用于训练图像重构模型的正样本图像的图像特征确定出的是具体的卷积核,因此,该预设卷积核的确定,可大大减少后续编码器的训练难度。
80.步骤s320:基于该卷积特征,得到输入图像的图像特征。
81.由于利用编码器模块对输入图像进行第一卷积处理,得到输入图像的卷积特征的过程是降维的过程,对于图像来说,一些明显的大的特征在降维之后容易被保留,但对于微
小特征在卷积的过程中容易丢失,因此,为使图像的微小特征得以保留,以使后续进行图像比对时的结果更准确,可将上述确定的预设卷积核对输入图像进行第一卷积处理得到的输入图像的卷积特征和该输入图像的图像特征进行融合,得到输入图像卷积特征和输入图像特征的融合特征,以使输入图像的微小特征得以保留。然后对得到的输入图像的融合特征进行第二卷积处理,得到保留了输入图像的微小特征的输入图像的图像特征。其中,由于在对输入图像进行第一卷积处理是一个降维的过程,在该降维过程中原输入图像的尺寸变小,因此,在图像融合之前需将原始图像和原始图像经第一卷积处理得到的图像进行处理,例如,可利用resize代码设置使原始图像和原始图像经第一卷积处理得到的图像的尺寸相同。
82.本实施例中,先利用编码器模块中的预设卷积核对输入图像进行第一卷积处理,然后将其与输入图像进行融合再进行第二卷积处理,以得到保留输入图像的微小特征的输入图像的图像特征。在一些实施例中,在大量样本的支持下,也可以不利用编码器模块中的预设卷积核对输入图像进行第一卷积处理,而直接对输入图像进行上文所述的第二卷积处理。
83.步骤s330:利用解码器模块对输入图像的图像特征进行解码处理,得到输入图像对应的输出图像。
84.本文通过编码器提取出输入图像的有效信息,然后利用解码器对输入图像进行重构,以输出对应输入图像的重构图像。
85.由于该图像重构模型训练过程中,利用正样本图像得到的预设卷积核对输入图像进行第一卷积处理,先得到输入图像的卷积特征,再将获得的输入图像的卷积特征和输入图像进行融合得到融合特征,并对该融合特征进行第二卷积处理,得到输入图像的图像特征,由于该过程融合了输入图像和输入图像经第一卷积处理得到的卷积特征,因此,经该过程训练的图像重构模型能更加精确的重构出输入图像的微小特征,使输入图像的微小特征得以保留,以得到保留微小特征的重构图像,便于后续的图像检测结果更加准确。
86.请参阅图4a,图4a是本技术图像重构模型中确定预设卷积核一实施例的流程示意图。确定该预设卷积核的步骤包括:
87.步骤s410:对于每张正样本图像,利用正样本图像的像素值,得到正样本图像的特征向量。
88.首先,请参阅图4b,如图4b所示,选取n张正样本图像(n≥1),对选取的正样本图像进行滑窗处理,得到若干个滑窗对应的图像区域。具体地,利用步骤s120中通过原始图像得到多张目标子图像的方式,将选取的每张正样本图像平均分成k份单张维度为m*n的图像,其中m和n可以相同,也可以不同,对该k份该图像中的每一单张维度为m*n的图像,从第一个像素点开始,选取维度为k*k的滑动窗,其中,k远远小于m和n,通过该k*k的滑动窗遍历每一张维度为m*n的图像的所有像素点,以获得k份m*n个k*k滑窗对应的图像区域。因为选取了n个正样本(n≥1),因此能得到n*k份m*n个k*k滑窗对应的图像区域。其中,k的取值可以取任一大于1的自然数,例如3、5、7等,k的具体取值可根据图像重构模型的图像处理效果确定,此处不做具体限定。
89.然后,将每个图像区域中对应的像素点的像素值统计,得到对应像素点的特征值。具体地,可对如图4b所示的获得的n*k份图像区域的每一份m*n个k*k滑窗对应的图像区域
中对应像素点的像素值相加后求平均,最终得到n*k份维度为k*k的滑动窗对应的图像区域对应像素点的特征值。再利用统计得到的各对应像素点的特征值,组成选取的正样本的特征向量,具体地,将得到n*k份维度为k*k的滑动窗对应的图像区域的每一份维度为k*k的滑动窗进行展平化得到n*k份包含k2个元素的列向量,然后将该n*k份包含k2个元素的列向量进行拼接得到一个k2行,n*k列的特征向量。其中,n*k份维度为k*k的滑动窗的每一份该滑动窗进行展平的方式应相同,但选用的展平方式不唯一,例如,可以将k*k的滑动窗的每一行按照顺序排列,也可以将k*k的滑动窗的每一列按照顺序排列,具体选用何种方式,此处不做具体限定。
90.步骤s420:选择满足预设特征条件的至少一张正样本图像的特征向量。
91.满足预设特征条件的特征向量表示,从上述得到的k2行,n*k列的特征向量中,将选取的正样本图像的特征向量的向量特征值从高到低排序,选择较大特征值对应的前预设数量个特征向量,以使选取的较大特征值对应的前预设数量个特征向量能很大程度表征选取的正样本图像的图像信息。其中,该预设数量的具体数值可在模型重构过程中,根据重构效果进行确定,为方便根据图示理解后续预设卷积核,该预设数量可表示为如图4b所示的l1。
92.步骤s430:利用选择的特征向量组建得到预设卷积核。
93.将选择的预设数量个特征向量进行拼接组建得到预设卷积核。具体地,将选取的预设数量(l1)的特征向量先进行拆分,拆分成l1个包含k2个元素的列向量,然后将该l1个包含k2个元素的列向量进行重新组合,得到l1个k*k的特征向量,再将该l1个k*k的特征向量组建成如图4b所示的核维度为k、通道数为l1的卷积核,作为该预设卷积核,以后续对输入图像进行卷积操作。在一具体应用中,该输入图像为三通道且尺寸为m*n的彩色图像,故利用上述核维度为k、通道数为l1的卷积核对输入矩阵维度为m*n*3的彩色图像进行卷积操作。
94.请参阅图5a,图5a是本技术提供的图像处理方法一实施例的流程示意图。本实施例包括步骤s110、步骤s120和步骤s130,在步骤s130之后,还包括利用多张重构子图像组成参考图像以实现对目标对象的缺陷检测,具体地,如图5a所示,该实施例包括以下步骤:
95.步骤s510:获取目标对象的原始图像。
96.目标对象的相关描述和目标对象的原始图像的获取方式等可参考步骤s110所述,此处不做过多赘述。其中,获得的目标对象的原始图像可以是如图1b所示的无缺陷状态的图像;也可以是存在某些缺陷的图像,如图5b所示的,该原始图像50上存在缺陷,该缺陷为一小黑点。
97.步骤s520:利用原始图像得到多张目标子图像。
98.本实施例中,利用原始图像得到多张目标子图像的方式可参考步骤s120所述,此处不做过多赘述,其中,如图5b所示,得到多张目标子图像为53,多张目标子图像53为对应原始图像50第一图像区域51为预设像素值,而对应原始图像50第二图像区域52像素值不变的图像。
99.步骤s530:利用图像重构模型对多张目标子图像进行重构处理,得到分别与多张目标子图像对应的多张重构子图像。
100.本实施例中,利用图像重构模型对多张目标子图像53进行重构处理,得到分别与
多张目标子图像53对应的多张重构子图像54。如图5b所示,该图像重构模型为卷积自编码器,并包括编码器模块核解码器模块。在利用图像重构模型对多张目标子图像53进行重构处理,得到分别与多张目标子图像53对应的多张重构子图像54的过程同上述步骤s310和步骤s320,先对多张目标子图像53进行第一卷积处理,得到目标子图像53的卷积特征,再将该卷积特征和多张目标子图像53的图像特征进行融合,得到两者的融合特征,即而对该融合特征进行第二卷积处理得到多张目标子图像53的图像特征。
101.步骤s540:利用多张重构子图像组成参考图像。
102.在本实施例中,为了便于后续对目标对象进行缺陷检测,可以将多张重构子图像54组成参考图像55,具体如,保留多张重构子图像中包含原始图像信息的图像区域,并记录保留有原始图像信息的图像区域在原始图像中的位置信息,使该图像区域的位置和其在原始图像中的位置一一对应拼接,以组成参考图像。可以理解的,组成的参考图像为无缺陷状态下的多张重构子图像的组合图像,因此,由多张重构子图像组成的参考图像也为不存在缺陷的组合图像,且可反应出目标对象的原始图像在无缺陷状态下对应的图像。
103.步骤s550:利用参考图像对原始图像进行关于目标对象的缺陷检测,得到原始图像中的目标对象的缺陷检测结果。
104.在一些实施例中,目标对象可以但不限于是印刷品、画卷等,且目标对象可以是有缺陷的,也是可以是无缺陷的,缺陷可以是印刷品的印刷缺陷、画卷中存在的瑕疵等,缺陷检测结果包括该目标对象有无缺陷、及存在缺陷的位置信息等。在一具体实施例中,如图5b所示,目标对象为印刷商品标签,缺陷是标签印刷后存在的小墨点,在一些实施例中,缺陷还可以是标签印刷后存在的斑点、褶皱、异物、漏印、划痕、刀丝等。
105.其中,对目标对象进行缺陷检测并获得检测结果,包括:先对原始图像与参考图像的对应像素点的像素值一一做差,得到重构误差,然后判断重构误差是否小于预设阈值,若重构误差小于预设阈值,则确定原始图像中的目标对象无缺陷,若重构误差大于预设阈值,则确定原始图像中的目标对象存在缺陷,其中,该预设阈值的确定,可根据原始图像与参考图像的对比效果进行确定,此处不做具体限定。
106.本实施例是通过将多张重构子图像组成参考图像,利用参考图像和原始图像做对比以确定缺陷检测结果。在一些实施例中,也可以直接将多张重构子图像和原始图像中第一图像区域的像素点一一对比,以确定缺陷检测结果。
107.请参阅图6,图6是本技术提供的图像处理装置一实施例的框架示意图。本实施方式中,图像处理装置60包括:获取模块61、组成模块62和处理模块63。获取模块61用于获取目标对象的原始图像;组成模块62用于利用原始图像得到多张目标子图像,其中,每张目标子图像均包含部分目标对象,且多张目标子图像的组合包含目标对象;处理模块63用于利用图像重构模型对多张目标子图像进行重构处理,得到分别与多张目标子图像对应的多张重构子图像,其中,图像重构模型是利用包含无缺陷状态的样本对象的正样本图像训练得到的,多张重构子图像的组合用于表示处于无缺陷状态的目标对象。
108.在一些实施例中,上述组成模块62用于将原始图像进行区域拆分,得到多个第一图像区域,利用原始图像中除第一图像区域以外的第二图像区域的像素值,以得到多张目标子图像。
109.在一些实施例中,上述组成模块62用于采用平均划分或随机划分的方式,将原始
图像中的像素点划分为多份。
110.在一些实施例中,上述组成模块62用于利用多张重构子图像组成参考图像。
111.在一些实施例中,上述处理模块63用于参考图像对原始图像进行关于所述目标对象的缺陷检测,得到原始图像中的目标对象的缺陷检测结果。
112.在一些实施例中,上述处理模块63用于对原始图像与参考图像的对应像素点的像素值做差,得到重构误差;并用于判断重构误差是否小于预设阈值和确定原始图像中的目标对象存在缺陷。
113.需要说明的是,本实施方式的装置可以执行上述方法中的步骤,相关内容的详细说明请参见上述方法部分,在此不再赘叙。
114.请参阅图7,图7是本技术提供的图像重构模型的训练装置一实施例的框架示意图。本实施方式中,图像处理装置70包括:样本获取模块71、样本组成模块72、样本处理模块73和调整模块74,用于对图像模型进行训练。样本获取模块71用于获取包含无缺陷状态的样本对象的正样本图像;样本组成模块72用于利用正样本图像得到多张第一样本子图像,其中,每张第一样本子图像均包含部分无缺陷状态的样本对象,且多张第一样本子图像的组合包含无缺陷状态的目标对象;样本处理模块73用于利用图像重构模型对多张第一样本子图像进行重构处理,得到分别与多张第一样本子图像对应的多张样本重构子图像;调整模块74用于利用每张样本重构子图像和对应的第二样本子图像之间的差异,调整图像重构模型的网络参数,其中,与样本重构子图像对应的第二样本子图像与样本重构子图像均包含目标对象的相同部分。
115.在一些实施例中,上述样本组成模块72用于将正样本图像进行区域拆分,以得到多个第一样本区域,利用正样本图像中第一样本区域的像素值,得到与第一样本区域对应的第二样本子图像,并利用正样本图像中第二图像区域的像素值,得到与第一样本区域对应的第一样本子图像。
116.在一些实施例中,上述样本处理模块73用于利用编码器模块执行:对输入图像进行第一卷积处理,得到输入图像的卷积特征,并基于卷积特征,得到输入图像的图像特征,利用解码器模块对输入图像的图像特征进行解码处理,得到所述输入图像对应的输出图像。
117.在一些实施例中,上述样本处理模块73用于利用预设卷积核对输入图像进行第一卷积处理,得到输入图像的卷积特征,和/或,基于卷积特征,得到输入图像的图像特征。
118.在一些实施例中,上述样本处理模块73用于对于每张正样本图像,利用正样本图像的像素值,得到正样本图像的特征向量;选择满足预设特征条件的至少一张正样本图像的特征向量;利用选择的特征向量组建得到预设卷积核。
119.在一些实施例中,上述样本处理模块73用于对正样本图像进行滑窗处理,得到若干个滑窗对应的图像区域;将每个图像区域中对应的像素点的像素值统计,得到对应像素点的特征值,并利用统计得到的各对应像素点的特征值,组成正样本的特征向量;选择满足预设特征条件的至少一张正样本图像的特征向量,包括:将每张正样本图像的特征向量的向量特征值从高到低排序,选择前预设数量个特征向量。
120.需要说明的是,本实施方式的装置可以执行上述方法中的步骤,相关内容的详细说明请参见上述方法部分,在此不再赘叙。
121.请参阅图8,图8是本技术提供的图像处理设备一实施例的框架示意图。本实施方式中,图像处理设备80包括存储器81和处理器82。
122.处理器82还可以称为cpu(central processing unit,中央处理单元)。处理器82可能是一种集成电路芯片,具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器82也可以是任何常规的处理器82等。
123.图像处理设备80中的存储器81用于存储处理器82运行所需的程序指令。
124.处理器82用于执行程序指令以实现上述本技术图像处理方法和图像重构模型训练方法中任一实施例及任意不冲突的组合所提供的方法。
125.请参阅图9,图9是本技术提供的计算机可读存储介质的框架示意图。本技术实施例的计算机可读存储介质90存储有程序指令91,该程序指令91被执行时实现本技术图像处理方法和图像重构模型训练方法中任一实施例以及任意不冲突的组合所提供的方法。其中,该程序指令91可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质90中,以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质90包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。
126.上述方案,图像重构模型是利用包含无缺陷状态的样本对象的正样本图像训练得到的,通过无缺陷状态的样本对象的正样本图像训练得到的图像重构模型对输入的带缺陷的原始图像的缺陷无法被重构出来,则通过图像重构模型输出的多张重构子图像的组合用于表示处于无缺陷状态的目标对象,且在训练过程中,对输入图像的卷积特征和输入图像进行了融合,然后对该融合特征进行卷积处理,得到输入图像的图像特征,该融合过程使输入图像的微小特征得以保留,以得到保留微小特征的重构图像,便于后续的图像检测结果更加准确。
127.此外,图像重构模型在训练过程中,是利用图像数据自动学习的,这意味着经训练得到的图像重构模型可实现图像的自动重构,重构效率高,且该模型在大量样本的支持下,学习的不是样本图像本身,而是利用已知像素预测未知像素,学习的是图像重构的功能,因此,也可将未经训练的其他类型的图像进行重构,因此可提高该图像重构模型的图像适用范围。
128.在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
129.上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
130.在本技术所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨
论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
131.作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
132.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
133.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
134.以上所述仅为本技术的实施方式,并非因此限制本技术的专利范围,凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本技术的专利保护范围内。

技术特征:
1.一种图像处理方法,其特征在于,所述方法包括:获取目标对象的原始图像;利用所述原始图像得到多张目标子图像,其中,每张所述目标子图像均包含部分所述目标对象,且所述多张目标子图像的组合包含所述目标对象;利用图像重构模型对所述多张目标子图像进行重构处理,得到分别与所述多张目标子图像对应的多张重构子图像,其中,所述图像重构模型是利用包含无缺陷状态的样本对象的正样本图像训练得到的,所述多张重构子图像的组合用于表示处于无缺陷状态的所述目标对象。2.根据权利要求1所述的方法,其特征在于,所述利用所述原始图像得到多张目标子图像,包括:将所述原始图像进行区域拆分,以得到多个第一图像区域,所述第一图像区域包含所述目标对象的不同部分;对于每个所述第一图像区域,利用所述原始图像中除所述第一图像区域以外的第二图像区域的像素值,得到与所述第一图像区域对应的目标子图像。3.根据权利要求2所述的方法,其特征在于,所述将所述原始图像拆分成多个第一图像区域,包括:采用平均划分或随机划分的方式,将所述原始图像中的像素点划分为多份,其中,每份所述像素点组成一个所述第一图像区域;和/或,所述原始图像、所述目标子图像的尺寸相同,且在与所述第一图像区域对应的目标子图像中,对应所述第一图像区域的像素值为预设像素值,且对应所述第二图像区域的像素值不变。4.根据权利要求1所述的方法,其特征在于,所述多张重构子图像分别包含所述目标对象的不同部分;和/或,所述重构子图像与对应的所述目标子图像分别包含所述目标对象的不同部分,且每组所述重构子图像与对应的所述目标子图像的组合均包含所述目标对象。5.根据权利要求1所述的方法,其特征在于,所述图像重构模型为卷积自编码器,所述卷积自编码器包括编码器模块和解码器模块;和/或,在利用图像重构模型对所述多张目标子图像进行重构处理,得到分别与所述多张目标子图像对应的多张重构子图像前,所述方法还包括以下所述图像重构模型的训练步骤:利用所述正样本图像得到多张第一样本子图像,其中,每张所述第一样本子图像均包含部分所述无缺陷状态的样本对象,且所述多张第一样本子图像的组合包含所述无缺陷状态的样本对象;利用图像重构模型对所述多张第一样本子图像进行重构处理,得到分别与所述多张第一样本子图像对应的多张样本重构子图像;利用每张所述样本重构子图像和对应的第二样本子图像之间的差异,调整所述图像重构模型的网络参数,其中,与所述样本重构子图像对应的第二样本子图像与所述样本重构子图像均包含所述目标对象的相同部分。6.根据权利要求5所述的方法,其特征在于,所述利用所述正样本图像得到多张第一样
本子图像,包括:将所述正样本图像进行区域拆分,以得到多个第一样本区域,所述第一样本区域包含所述样本对象的不同部分;对于每个所述第一样本区域,利用所述正样本图像中所述第一样本区域的像素值,得到与所述第一样本区域对应的所述第二样本子图像,并利用所述正样本图像中所述第二图像区域的像素值,得到与所述第一样本区域对应的第一样本子图像。7.根据权利要求5所述的方法,其特征在于,所述利用图像重构模型对所述多张目标子图像进行重构处理,得到分别与所述多张目标子图像对应的多张重构子图像,或者,所述利用图像重构模型对所述多张第一样本子图像进行重构处理,得到分别与所述多张第一样本子图像对应的多张样本重构子图像,包括:将所述多张目标子图像/所述多张第一样本子图像作为多张输入图像、所述多张重构子图像/所述多张样本重构子图像作为多张输出图像;利用所述编码器模块执行:对所述输入图像进行第一卷积处理,得到所述输入图像的卷积特征,并基于所述卷积特征,得到所述输入图像的图像特征;利用解码器模块对所述输入图像的图像特征进行解码处理,得到所述输入图像对应的输出图像。8.根据权利要求7所述的方法,其特征在于,所述对所述输入图像进行第一卷积处理,得到所述输入图像的卷积特征,包括:利用预设卷积核对所述输入图像进行第一卷积处理,得到所述输入图像的卷积特征,其中,所述预设卷积核是利用至少一张用于训练所述图像重构模型的正样本图像中的特征确定的;和/或,所述基于所述卷积特征,得到所述输入图像的图像特征,包括:融合所述卷积特征和所述输入图像,得到融合特征;对所述融合特征进行第二卷积处理,得到所述输入图像的图像特征。9.根据权利要求8所述的方法,其特征在于,在所述利用预设卷积核对所述输入图像进行第一卷积处理,得到所述输入图像的卷积特征之前,所述方法还包括:对于每张所述正样本图像,利用所述正样本图像的像素值,得到所述正样本图像的特征向量;选择满足预设特征条件的至少一张所述正样本图像的特征向量;利用选择的特征向量组建得到所述预设卷积核。10.根据权利要求9所述的方法,其特征在于,所述利用所述正样本图像的像素值,得到所述正样本图像的特征向量,包括:对所述正样本图像进行滑窗处理,得到若干个滑窗对应的图像区域;将每个图像区域中对应的像素点的像素值统计,得到对应像素点的特征值,并利用统计得到的各对应像素点的特征值,组成所述正样本的特征向量;所述选择满足预设特征条件的至少一张所述正样本图像的特征向量,包括:将每张所述正样本图像的特征向量的向量特征值从高到低排序,选择前预设数量个所述特征向量。11.根据权利要求1所述的方法,其特征在于,在利用图像重构模型对所述多张目标子
图像进行重构处理,得到分别与所述多张目标子图像对应的多张重构子图像之后,所述方法还包括:利用所述多张重构子图像组成参考图像;利用所述参考图像对所述原始图像进行关于所述目标对象的缺陷检测,得到所述原始图像中的目标对象的缺陷检测结果。12.根据权利要求11所述的方法,其特征在于,所述目标对象为印刷品,所述缺陷为印刷缺陷;和/或,所述利用所述参考图像对所述原始图像进行关于所述目标对象的缺陷检测,得到所述原始图像中的目标对象的缺陷检测结果,包括:对所述原始图像与所述参考图像的对应像素点的像素值做差,得到重构误差;判断重构误差是否小于预设阈值;若是,则确定所述原始图像中的目标对象无缺陷,若否,则确定所述原始图像中的目标对象存在缺陷。13.一种图像重构模型的训练方法,其特征在于,包括:获取包含无缺陷状态的样本对象的正样本图像;利用所述正样本图像得到多张第一样本子图像,其中,每张所述第一样本子图像均包含部分所述无缺陷状态的样本对象,且所述多张第一样本子图像的组合包含所述无缺陷状态的目标对象;利用图像重构模型对所述多张第一样本子图像进行重构处理,得到分别与所述多张第一样本子图像对应的多张样本重构子图像;利用每张所述样本重构子图像和对应的第二样本子图像之间的差异,调整所述图像重构模型的网络参数,其中,与所述样本重构子图像对应的第二样本子图像与所述样本重构子图像均包含所述目标对象的相同部分。14.根据权利要求13所述的方法,其特征在于,所述利用图像重构模型对所述多张第一样本子图像进行重构处理,得到分别与所述多张第一样本子图像对应的多张样本重构子图像,包括:利用所述图像重构模型的编码器模块执行:对所述第一样本子图像进行第一卷积处理,得到所述第一样本子图像的卷积特征,并基于所述卷积特征,得到所述第一样本子图像的图像特征;利用所述图像重构模型的解码器模块对所述第一样本子图像的图像特征进行解码处理,得到所述第一样本子图像对应的样本重构子图像;其中,所述对所述第一样本子图像进行第一卷积处理,得到所述第一样本子图像的卷积特征,包括:利用预设卷积核对所述第一样本子图像进行第一卷积处理,得到所述第一样本子图像的卷积特征,其中,所述预设卷积核是利用至少一张用于训练所述图像重构模型的正样本图像中的特征确定的;和/或,所述基于所述卷积特征,得到所述第一样本子图像的图像特征,包括:融合所述卷积特征和所述第一样本子图像,得到融合特征;对所述融合特征进行第二卷积处理,得到所述第一样本子图像的图像特征。15.根据权利要求14所述的方法,其特征在于,在所述利用预设卷积核对所述第一样本子图像进行第一卷积处理,得到所述第一样本子图像的卷积特征之前,所述方法还包括:
对于每张所述正样本图像,利用所述正样本图像的像素值,得到所述正样本图像的特征向量;选择满足预设特征条件的至少一张所述正样本图像的特征向量;利用选择的特征向量组建得到所述预设卷积核。16.一种图像处理装置,其特征在于,所述装置包括:获取模块,用于获取目标对象的原始图像;组成模块,利用所述原始图像得到多张目标子图像,其中,每张所述目标子图像均包含部分所述目标对象,且所述多张目标子图像的组合包含所述目标对象;处理模块,利用图像重构模型对所述多张目标子图像进行重构处理,得到分别与所述多张目标子图像对应的多张重构子图像,其中,所述图像重构模型是利用包含无缺陷状态的样本对象的正样本图像训练得到的,所述多张重构子图像的组合用于表示处于无缺陷状态的所述目标对象。17.一种图像重构模型的训练装置,其特征在于,所述装置包括:样本获取模块,获取包含无缺陷状态的样本对象的正样本图像;样本组成模块,利用所述正样本图像得到多张第一样本子图像,其中,每张所述第一样本子图像均包含部分所述无缺陷状态的样本对象,且所述多张第一样本子图像的组合包含所述无缺陷状态的目标对象;样本处理模块,利用图像重构模型对所述多张第一样本子图像进行重构处理,得到分别与所述多张第一样本子图像对应的多张样本重构子图像;调整模块,利用每张所述样本重构子图像和对应的第二样本子图像之间的差异,调整所述图像重构模型的网络参数,其中,与所述样本重构子图像对应的第二样本子图像与所述样本重构子图像均包含所述目标对象的相同部分。18.一种图像处理设备,其特征在于,包括相互耦接的存储器和处理器,所述存储器存储有程序指令;所述处理器用于执行所述存储器中存储的程序指令,以实现权利要求1-12任一项所述的方法,和/或,实现权利要求13-15任一项所述的方法。19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储程序指令,所述程序指令能够被执行以实现权利要求1-12任一项所述的方法,和/或,实现权利要求13-15任一项所述的方法。

技术总结
本申请公开了一种图像处理方法和相关模型训练方法及相关装置,图像处理方法包括:获取目标对象的原始图像;利用原始图像得到多张目标子图像,其中,每张目标子图像均包含部分目标对象,且多张目标子图像的组合包含目标对象;利用图像重构模型对多张目标子图像进行重构处理,得到分别与多张目标子图像对应的多张重构子图像,其中,图像重构模型是利用包含无缺陷状态的样本对象的正样本图像训练得到的,多张重构子图像的组合用于表示处于无缺陷状态的所述目标对象。通过上述方式能够实现无缺陷状态的对象图像重构,且减低重构难度。且减低重构难度。且减低重构难度。


技术研发人员:江先晖 陈霆 刘鹏
受保护的技术使用者:山东科讯信息科技有限公司
技术研发日:2022.03.28
技术公布日:2022/7/5
转载请注明原文地址: https://www.8miu.com/read-12384.html

最新回复(0)