钢材表面缺陷目标检测方法、装置、计算机设备及介质

allin2025-04-22  26


本发明涉及缺陷检测,具体涉及钢材表面缺陷目标检测方法、装置、计算机设备及介质。


背景技术:

1、钢材是重要的工业材料,钢材的缺陷会降低产品的质量,导致安全隐患和经济损失,能够自动且准确地识别钢材缺陷具有重要意义。

2、钢材表面缺陷属于目标检测问题,与一般的目标检测任务不同,钢材缺陷的识别任务存在更多特殊的难点。具体而言,当使用目前流行的yolo系列(you only look once,基于深度学习的目标检测算法)目标检测算法识别钢材的缺陷图像数据时,会遇到以下的问题:

3、第一,模型会受到图像对比度变化的影响。在拍摄过程中,光照和材料的变化会对缺陷图像识别产生显著的影响。由于拍摄环境不同,同种缺陷的图像会呈现不同的灰度表现,导致模型的泛化能力较低。

4、第二,模型训练时难以捕捉全局信息,学习复杂特征。钢材上缺陷的形态各异,使得模型预测时对边界框的回归难度增加,较难以捕捉全局信息。当一张图片上同时出现多类不同的特征时,模型训练的结果往往不佳。

5、第三,各类标注的缺陷图像实际质量不高。具体表现在:yolov8网络对于低质量数据的惩罚程度较高,缺陷训练数据集中往往存在低质量的数据,这些数据会一定程度上影响模型的训练方向,进而导致深度网络学习模型检测性能下降。yolov8网络中提供了giou损失、diou损失和ciou损失作为iou损失函数选项。上述iou损失函数的计算方式都假设了训练数据质量较高,强化了边界框损失的拟合能力。但针对于钢材缺陷数据集来说,由于钢材缺陷的目标可能在图像的呈现上较微弱,导致目标与背景区分度不高,同时标注质量较其他目标检测数据集来说更低,因此标注的缺陷图像实际质量不高。出现训练数据为人工标注,存在标注框位置、类别不完全准确的现象。此外,缺陷目标图像的稳定度也较低。模型迭代的过程中会加重对这些错误数据的学习,进而降低模型的性能。

6、综上,现有的目标检测模型存在检测性能较低的缺陷,进而影响钢材表面缺陷检测不准确的问题。


技术实现思路

1、有鉴于此,本发明提供了一种钢材表面缺陷目标检测方法、装置、计算机设备及介质,以解决现有的目标检测模型检测性能较低而导致钢材表面缺陷检测不准确的问题。

2、第一方面,本发明提供了一种钢材表面缺陷目标检测方法,该方法包括:

3、获取多张历史钢材表面缺陷图像和多张实测钢材表面缺陷图像;

4、构建改进yolov8深度网络学习模型;改进yolov8深度网络学习模型包括依次进行连接的backbone层、neck层和head层;backbone层采用gnc3模块替代yolov8中的c2f模块;neck层包括注意力模块,注意力模块与head层连接;在head层的检测头中采用wiou损失函数替代yolov8中的iou损失函数;

5、采用多张历史钢材表面缺陷图像对改进yolov8深度网络学习模型进行训练,得到基于改进yolov8的钢材表面缺陷检测模型;

6、采用基于改进yolov8的钢材表面缺陷检测模型对多张实测钢材表面缺陷图像进行钢材表面缺陷目标检测。

7、本发明提供的钢材表面缺陷目标检测方法,通过在backbone层使用gnc3模块替代了原yolov8网络中的三个c2f模块,能够学习更复杂的特征结构;在neck层输出结果前,增加注意力机制模块,加强网络对全局信息的感知;在head层的detect头中使用wiou损失函数计算损失,减少了低质量数据对于模型训练的影响,改进后的yolov8深度网络学习模型提升了检测性能,采用基于改进yolov8的钢材表面缺陷检测模型对多张实测钢材表面缺陷图像进行钢材表面缺陷目标检测时,能够实现更好地识别效果和泛化能力,提高了检测效率和检测准确性,解决了现有的目标检测模型检测性能较低而导致钢材表面缺陷检测不准确。

8、在一种可选的实施方式中,在采用多张历史钢材表面缺陷图像对改进yolov8深度网络学习模型进行训练之前,钢材表面缺陷目标检测方法还包括:

9、统计每张历史钢材表面缺陷图像中每个灰度级出现的像素数量;

10、基于每个灰度级出现的像素数量计算累计直方图;

11、对累计直方图的值进行取整操作;

12、对取整操作后的累计直方图的每个像素灰度值进行灰度映射,使得每张钢材表面缺陷图像的对比度得到图像增强。

13、本发明提供的钢材表面缺陷目标检测方法,通过累计直方图均衡函数对原始历史钢材表面缺陷图像进行图像数据增加,实现图像的对比度增强,降低了不同对比度的缺陷图像对于改进yolov8深度网络学习模型性能的影响,增强了训练形成的基于改进yolov8的钢材表面缺陷检测模型整体的泛用性。

14、在一种可选的实施方式中,采用多张历史钢材表面缺陷图像对所述改进yolov8深度网络学习模型进行训练,得到基于改进yolov8的钢材表面缺陷检测模型包括:

15、将图像增强后的多张历史钢材表面缺陷图像输入至改进yolov8深度网络学习模型的backbone层进行图像特征提取,以得到每张历史钢材表面缺陷图像对应的长距离图像信息;

16、将长距离图像信息传输至neck层进行图像特征融合,以得到每张历史钢材表面缺陷图像的全局信息;

17、将全局信息传输至head层,采用wiou损失函数计算全局信息损失;

18、当完成全局信息损失计算后,得到基于改进yolov8的钢材表面缺陷检测模型。

19、本发明提供的钢材表面缺陷目标检测方法,将图像增强后的多张历史钢材表面缺陷图像输入至改进yolov8深度网络学习模型的backbone层进行图像特征提取,可以更好地捕捉每张历史钢材表面缺陷图像中长距离的信息,对于复杂的图像结构能做到更好的识别,提升了训练得到的基于改进yolov8的钢材表面缺陷检测模型对于复杂图像结构的识别效果,将长距离图像信息传输至neck层进行图像特征融合,以得到每张历史钢材表面缺陷图像的全局信息,能够捕捉到更丰富、更全面的全局信息,提升了基于改进yolov8的钢材表面缺陷检测模型的精确度,将全局信息传输至head层,采用wiou损失函数计算全局信息损失,当完成全局信息损失计算后,得到基于改进yolov8的钢材表面缺陷检测模型,使用wiou损失函数计算全局信息损失,提升了基于改进yolov8的钢材表面缺陷检测模型的检测性能,wiou损失函数由于不需要进行横纵比计算,相较于原yolov8中使用的ciou,一定程度上减少了损失函数的计算时间,提高了基于改进yolov8的钢材表面缺陷检测模型的训练速度。

20、在一种可选的实施方式中,当backbone层为一阶卷积时,backbone层包括1个gnconv模块,gnconv模块包括2个线性投影层和1个卷积层,将图像增强后的多张历史钢材表面缺陷图像输入至改进yolov8深度网络学习模型的backbone层进行图像特征提取,以得到多张历史钢材表面缺陷图像对应的长距离图像信息包括:

21、将图像增强后的每张历史钢材表面缺陷图像输入至改进yolov8深度网络学习模型的backbone层的其中一个线性投影层中进行一次线性投影,产生第一投影特征和第二投影特征;

22、将第二投影特征在卷积层中经过深度卷积后与第一投影特征进行点积运算产生第一点积特征;

23、将第一点积特征在另一个线性投影层进行再一次线性投影,得到每张历史钢材表面缺陷图像对应的长距离图像信息;

24、或,

25、当backbone层包括预设数量的gnc3模块时,每个gnc3模块包括2个线性投影层和3个卷积层;将图像增强后的多张历史钢材表面缺陷图像输入至改进yolov8深度网络学习模型的backbone层进行图像特征提取,以得到多张历史钢材表面缺陷图像对应的长距离图像信息包括:

26、将图像增强后的多张历史钢材表面缺陷图像输入至改进yolov8深度网络学习模型的backbone层的其中一个线性投影层中进行一次线性投影,产生第四投影特征和第五投影特征;

27、将第五投影特征在其中一个gnc3模块中经过3个卷积层进行3次深度卷积后与第四投影特征进行点积运算产生第二点积特征,将第二点积特征在第二个gnc3模块继续进行深度卷积和点积运算,直到在最后一个gnc3模块中完成预设次递归,并输出最后一次递归产生的点积特征;

28、将最后一次递归产生的点积特征在最后一个gnc3模块中的另一个线性投影层进行再一次线性投影,得到每张历史钢材表面缺陷图像对应的长距离图像信息。

29、本发明提供的钢材表面缺陷目标检测方法,通过一阶卷积或预设阶数gnc3模块对输入的通道数调整之后,将输出的卷积特征分为多个部分,每部分和前一部分做点积运算后的结果再进行点积运算,以此递归进行,直到最终获得输出结果,随着递归层数的增加,包含gnc3模块的backbone层能够更好的理解高阶的空间信息,从而对于复杂的图像结构能做到更好的识别,提升了后续基于改进yolov8的钢材表面缺陷检测模型对于复杂图像结构的识别效果。

30、在一种可选的实施方式中,将长距离图像信息传输至neck层进行图像特征融合,以得到每张历史钢材表面缺陷图像的全局信息包括:

31、将长距离图像信息传输至neck层的注意力模块中,并多次计算长距离图像信息指定像素点与剩余像素点的相似度;

32、基于相似度为每个像素点分配权重,得到每张历史钢材表面缺陷图像的全局信息。

33、本发明提供的钢材表面缺陷目标检测方法,通过在neck层增加注意力机制,通过计算指定像素点与剩余点间的位置关系信息,对指定像素点的特征进行加权处理,能更好地识别不同类别的特征及其对应位置,以获取到更丰富、更全面的全局信息,可以更好地提取关键特征,并减少噪声和冗余信息的影响。

34、在一种可选的实施方式中,将全局信息传输至head层,采用wiou损失函数计算全局信息损失包括:

35、在head层中获取wiou损失函数的预测边界框和实际边界框;

36、基于预测边界框和实际边界框采用wiou损失函数对全局信息进行损失计算。

37、本发明提供的钢材表面缺陷目标检测方法,采用wiou损失函数对全局信息进行损失计算,可以减少低质量数据对于改进yolov8深度网络学习模型训练的影响,使用wiou损失函数可以使得基于改进yolov8的钢材表面缺陷检测模型具有更好的泛化能力。此外,wiou损失函数由于不需要进行横纵比计算,相较于yolov8中使用的ciou损失函数,减少了损失函数的计算时间,提高了模型的训练速度。

38、在一种可选的实施方式中,采用基于改进yolov8的钢材表面缺陷检测模型对多张实测钢材表面缺陷图像进行钢材表面缺陷目标检测包括:

39、将实测钢材表面缺陷图像输入至基于改进yolov8的钢材表面缺陷检测模型中进行深度学习,以对钢材表面缺陷进行目标检测,得到实际钢材表面缺陷图像对应的钢材表面缺陷种类。

40、本发明提供的钢材表面缺陷目标检测方法,将实测钢材表面缺陷图像输入至基于改进yolov8的钢材表面缺陷检测模型中进行深度学习,以对钢材表面缺陷进行目标检测,得到实际钢材表面缺陷图像对应的钢材表面缺陷种类,能够自动且准确地识别钢材表面缺陷,提高了钢材表面缺陷的识别度和准确性。

41、第二方面,本发明提供了一种钢材表面缺陷目标检测装置,该装置包括:

42、图像获取模块,用于获取多张历史钢材表面缺陷图像和多张实测钢材表面缺陷图像;

43、模型构建模块,用于构建改进yolov8深度网络学习模型;改进yolov8深度网络学习模型包括依次进行连接的backbone层、neck层和head层;backbone层采用gnc3模块替代yolov8中的c2f模块; neck层包括注意力模块,注意力模块与head层连接;在head层采用wiou损失函数替代yolov8中的iou损失函数;

44、模型训练模块,用于采用多张历史钢材表面缺陷图像对改进yolov8深度网络学习模型进行训练,得到基于改进yolov8的钢材表面缺陷检测模型;

45、目标检测模块,用于采用基于改进yolov8的钢材表面缺陷检测模型对多张实测钢材表面缺陷图像进行钢材表面缺陷目标检测。

46、第三方面,本发明提供了一种计算机设备,包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述第一方面或其对应的任一实施方式的钢材表面缺陷目标检测方法。

47、第四方面,本发明提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的钢材表面缺陷目标检测方法。


技术特征:

1.一种钢材表面缺陷目标检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,在采用所述多张历史钢材表面缺陷图像对所述改进yolov8深度网络学习模型进行训练之前,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,采用所述多张历史钢材表面缺陷图像对所述改进yolov8深度网络学习模型进行训练,得到基于改进yolov8的钢材表面缺陷检测模型包括:

4.根据权利要求3所述的方法,其特征在于,当所述backbone层为一阶卷积时,所述backbone层包括1个gnconv模块,所述gnconv模块包括2个线性投影层和1个卷积层,将图像增强后的多张历史钢材表面缺陷图像输入至所述改进yolov8深度网络学习模型的backbone层进行图像特征提取,以得到多张历史钢材表面缺陷图像对应的长距离图像信息包括:

5.根据权利要求3所述的方法,其特征在于,将所述长距离图像信息传输至所述neck层进行图像特征融合,以得到每张历史钢材表面缺陷图像的全局信息包括:

6.根据权利要求3所述的方法,其特征在于,将所述全局信息传输至head层,采用wiou损失函数计算全局信息损失包括:

7.根据权利要求1所述的方法,其特征在于,所述采用基于改进yolov8的钢材表面缺陷检测模型对多张实测钢材表面缺陷图像进行钢材表面缺陷目标检测包括:

8.一种钢材表面缺陷目标检测装置,其特征在于,所述装置包括:

9.一种计算机设备,其特征在于,包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机指令,所述计算机指令用于使计算机执行权利要求1至7中任一项所述的钢材表面缺陷目标检测方法。


技术总结
本发明涉及缺陷检测技术领域,公开了钢材表面缺陷目标检测方法、装置、计算机设备及介质,该方法包括:构建改进YOLOv8深度网络学习模型;在Backbone层采用GnC3模块替代YOLOv8中的C2f模块;Neck层包括注意力模块,注意力模块与Head层连接;在Head层的检测头中采用WIoU损失函数替代YOLOv8中的IoU损失函数;采用多张历史钢材表面缺陷图像对改进YOLOv8深度网络学习模型进行训练,得到基于改进YOLOv8的钢材表面缺陷检测模型,并对多张实测钢材表面缺陷图像进行钢材表面缺陷目标检测。本发明改进后的YOLOv8深度网络学习模型提升了检测性能,提高了检测准确性。

技术研发人员:方方,陈丘轲
受保护的技术使用者:华东师范大学
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-20545.html

最新回复(0)