本技术实施例涉及图像处理领域,特别涉及一种缺陷图像生成方法、装置、设备及存储介质。
背景技术:
1、工业检测领域中,缺陷图像生成技术在训练检测算法、增强数据集和模拟各种缺陷情况方面发挥着关键作用。现主流的缺陷图像生成手段包括基于生成对抗网络(gan)的方法、基于diffusion模型的方法以及传统的图像处理方法。
2、gan通过生成器和判别器的对抗训练,能够快速生成逼真的缺陷图像。这种方法的优势在于生成速度快,能够产生多样化的样本。然而gan生成的图像在细节方面可能不够精细,且训练过程不稳定,容易出现模式崩溃等问题。diffusion模型采用逐步去噪的过程来生成图像,能够产生高质量、细节丰富的缺陷图像。这种方法在图像质量方面表现优异,特别是在生成复杂纹理和精细结构时。但是diffusion模型的生成速度相对较慢,且对计算资源的需求较高,这在实时应用场景中可能会造成限制。传统的图像处理方法如图像变换、滤波和合成技术,其在缺陷模拟方面具有较强的可控性和可解释性。这些方法可以根据预设规则生成特定类型的缺陷,操作直观且计算效率高。然而传统方法在生成复杂、多样化的缺陷样本时往往显得不够灵活,难以模拟真实世界中的随机性和复杂性。
3、尽管上述这些方法各有优势,但现有技术仍存在一些共同的问题和局限性。首先,单一模型或方法难以同时满足图像质量、生成速度和多样性的需求。其次,相关技术通常独立使用这些方法,缺乏一个综合利用各种技术优势的整合框架。此外,这些方法在适应性方面也存在不足,难以根据不同的缺陷类型和具体要求灵活调整生成策略。在生成过程的质量控制方面,相关技术也面临挑战。大多数系统缺乏实时质量评估和动态调整机制,难以在生成过程中进行及时的质量干预和优化。深度学习模型(如gan和diffusion)的黑盒特性也导致了可解释性和可控性的不足,使得难以精确控制生成图像的具体特征。这些问题的根源在于技术的分割使用、模型的固有复杂性、计算资源的限制,以及缺乏动态调整和实时质量控制机制,在平衡计算效率与图像质量方面也面临着权衡的困境。
技术实现思路
1、本技术实施例提供缺陷图像生成方法、装置、设备及存储介质,解决问题。
2、一方面,本技术提供一种缺陷图像生成方法,所述方法包括:
3、将生成缺陷图像的特征参数输入至极端梯度提升树xgboost分类器中进行概率预测;所述特征参数包含生成缺陷图像的缺陷类型、缺陷尺寸、图像复杂度中的至少一种,所述xgboost分类器中包含有若干条不同类型的缺陷图像生成路径,且不同路径对应各自缺陷图像生成模型,不同缺陷图像生成模型运行时占用不同大小的硬件计算资源;
4、所述xgboost分类器基于特征参数和硬件计算资源确定使用不同缺陷图像生成路径的概率分数,并根据概率分数选定目标生成路径;
5、激活目标路径对应的目标缺陷图像生成模型,并基于特征参数生成待检缺陷图像;
6、对所述待检缺陷图像进行图像真实度和特征符合度评估,根据评估得分确定和输出符合特征要求的目标缺陷图像。
7、具体的,所述xgboost分类器包含至少四条缺陷图像生成路径,
8、基于生成对抗网络gan模型生成图像的第一生成路径;
9、基于gan模型和图像生成模型两者前后级联生成图像的第二生成路径;
10、基于gan模型和扩散diffusion模型前后级联生成图像的第三生成路径;
11、基于gan模型,diffusion模型和图像生成模型三者前后级联生成图像的第四生成路径;
12、其中的图像生成模型执行的是图像变换、滤波和合成中的至少一种;第一至第四生成路径运行时占用的硬件资源依次递增。
13、具体的,当所述xgboost分类器接收特征参数后,获取当前硬件资源,包括cpu负载、gpu利用率、内存占用率和当前任务队列长度;
14、所述xgboost分类器根据硬件资源和特征参数的缺陷尺寸和复杂度计算不同生成路径下的概率得分,并选取概率最高的生成路径作为生成缺陷图像的目标生成路径。
15、具体的,当选定目标生成路径时,激活目标生成路径中所有的模型,将特征参数输入值gan模型,并按照路径顺序依次输入至各个模型中进行图像优化,对每个模型输出的待检缺陷图像进行图像真实度和特征符合度评估;
16、当目标生成路径中存在模型优化输出的待检缺陷图像不满足真实度和特征符合度评估时,重复执行该模型的图像优化操作,直至输出的待检缺陷图像足真实度和特征符合度评估。
17、具体的,当选定第一生成路径时,所述gan模型根据特征参数生成至少三张128*128分辨率的缺陷轮廓图;
18、对至少三张缺陷轮廓图进行真实度和特征符合度评估,选取评估得分最高且超过第一评估阈值的一张作为待检缺陷图像输出;
19、当选定第二生成路径时,从数据库中随机选取与特征参数相匹配的缺陷背景图,将所述缺陷背景图与gan模型输出的待检缺陷图像进行融合;其中,gan模型输出的待检缺陷图像作为融合前景,缺陷背景图作为融合背景;
20、将融合后得到的融合图像进行图像真实度和特征符合度评估,在评估得分超过第二评估阈值时,作为待检缺陷图像输出;
21、当选定第三生成路径时,将gan模型输出的待检缺陷图像输入至diffusion模型执行n步迭代,生成512*512分辨率的细化图像;
22、对细化图像进行真实度和特征符合度评估,在评估得分超过第三评估阈值时,作为待检缺陷图像输出;
23、当选定第四生成路径时,从数据库中随机选取与特征参数相匹配的缺陷背景图,将所述缺陷背景图与diffusion模型输出的待检缺陷图像进行融合;其中,diffusion模型输出的待检缺陷图像作为融合前景,缺陷背景图作为融合背景;
24、将融合后得到的融合图像进行图像真实度和特征符合度评估,在评估得分超过第四评估阈值时,作为待检缺陷图像输出。
25、具体的,图像真实度和特征符合度评估,包括:
26、将生成的图像调整至223*224尺寸大小,并对像素进行归一化处理;
27、将归一化处理后的图像通过判别器对图像纹理、阴影和边缘锐利度进行检测,输出图像真实度得分s1;
28、将归一化处理后的图像进行二值化处理和进行边缘检测,识别图像中的缺陷裂纹,计算裂纹长度;
29、根据测量精度在识别的裂纹两条变上设置若干对检测点,计算每对检测点的裂纹宽度,求取裂纹均值宽度;
30、使用高斯函数计算裂纹长度和裂纹宽度与期望值的符合度值s2,公式如下:
31、
32、其中的e是自然常数,xi是第i个计算的裂纹长度或取裂纹均值宽度,μ是输入的期望裂纹长度或裂纹宽度,σ是允许误差数值;
33、基于图像真实度得分s1和相似度值s2计算获得评估得分s,公式如下:
34、s=αs1+βs2
35、其中的α和β分别表示图像真实度和符合度的权重比例。
36、具体的,当图像生成模型优化输出的待检缺陷图像计算的评估得分不超过第二评估阈值时,改变前景与背景的像素值亮度比例,并重新进行图像融合与平滑滤波;
37、当diffusion模型输出的待检缺陷图像计算的评估得分不超过第三评估阈值时,增加模型迭代步数和/或调整模型参数;模型参数包括噪声调度、采样方法、温度参数和指导尺度中的至少一种。
38、另一方面,本技术提供一种陷图像生成装置,所述装置包括:
39、数据输入模块,用于将生成缺陷图像的特征参数输入至极端梯度提升树xgboost分类器中进行概率预测;所述特征参数包含生成缺陷图像的缺陷类型、缺陷尺寸、图像复杂度中的至少一种,所述xgboost分类器中包含有若干条不同类型的缺陷图像生成路径,且不同路径对应各自缺陷图像生成模型,不同缺陷图像生成模型运行时占用不同大小的硬件计算资源;
40、路径确定模块,用于所述xgboost分类器基于特征参数和硬件计算资源确定使用不同缺陷图像生成路径的概率分数,并根据概率分数选定目标生成路径;
41、图像生成模块,用于激活目标路径对应的目标缺陷图像生成模型,并基于特征参数生成待检缺陷图像;
42、校验模块,用于对所述待检缺陷图像进行图像真实度和特征符合度评估,根据评估得分确定和输出符合特征要求的目标缺陷图像。
43、又一方面,本技术提供一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述方面所述的缺陷图像生成方法。
44、又一方面,本技术提供一种计算机可读存储介质,所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述方面所述的缺陷图像生成方法。
45、本技术实施例提供的技术方案带来的有益效果至少包括:通过将多种缺陷图像生成模型分类组成不同生成路径,并将该路径选择机制集成到xgboost中,进而根据输入的特征参数和计算机硬件资源使用情况来对每条生成路径进行概率计算,选择最合适的目标生成路径,请激活路径中的图像缺陷检测模型来生成待检缺陷图像。为了合成的缺陷图像能够满足要求,对图像进行真实度和特征符合度评估,筛选满足真实度和特征符合度评估的输出作为目标缺陷图像。该方案可以根据输入和硬件资源动态选择缺陷图像生成模型,充分发挥各种模型技术优势的同时,还可以更好地平衡计算负载。
1.一种缺陷图像生成方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述xgboost分类器包含至少四条缺陷图像生成路径,
3.根据权利要求2所述的方法,其特征在于,当所述xgboost分类器接收特征参数后,获取当前硬件资源,包括cpu负载、gpu利用率、内存占用率和当前任务队列长度;
4.根据权利要求2所述的方法,其特征在于,当选定目标生成路径时,激活目标生成路径中所有的模型,将特征参数输入值gan模型,并按照路径顺序依次输入至各个模型中进行图像优化,对每个模型输出的待检缺陷图像进行图像真实度和特征符合度评估;
5.根据权利要求4所述的方法,其特征在于,当选定第一生成路径时,所述gan模型根据特征参数生成至少三张128*128分辨率的缺陷轮廓图;
6.根据权利要求1-5任一所述的方法,其特征在于,图像真实度和特征符合度评估,包括:
7.根据权利要求6所述的方法,其特征在于,当图像生成模型优化输出的待检缺陷图像计算的评估得分不超过第二评估阈值时,改变前景与背景的像素值亮度比例,并重新进行图像融合与平滑滤波;
8.一种缺陷图像生成装置,其特征在于,所述装置包括:
9.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的缺陷图像生成方法。
10.一种计算机可读存储介质,其特征在于,所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一所述的缺陷图像生成方法。