本发明属于电子信息与煤矿工业生产相结合应用领域,具体涉及一种基于bottleneck和四检测头的煤矿运输带异物检测方法。
背景技术:
1、运输带是地下矿井当中煤矿运输的重要设备,它工作状态是否稳定决定整条生产线的煤炭开采量。在煤炭运输的过程中,石块、锚杆、大块等异物的存在可能会造成运输机的工作异常,导致运输带出现煤块溢出、转轴磨损、出煤口堵塞等情况,甚至可能造成煤矿的停产,严重威胁到煤矿开采的生产安全,因此通过机器视觉对运输带实现异物检测具有重大的实际意义。
2、针对现有的深度学习的异物检测方案均存在对异物的轮廓、纹理等语义信息特征识别存在缺陷,对小目标缺陷检测存在出现误检和漏检的情况,本发明涉及一种异物检测神经网络方法,提出了一种基于深度学习bottleneck特征融合和轻量化检测头相结合的方法,能够准确识别复杂黑暗背景下的煤矿运输带异物检测识别,解决运输带的高速移动、环境灰暗等因素造成传统算法难以识别的缺陷,特别适用于复杂黑暗背景下的煤矿运输带异物识别。
3、yolo是目前主流的目标检测算法之一,以速度快和易于实现著称。自从2016年yolov1首次问世,于是yolo经历多个版本的迭代,每一代版在性能和准确率等方面都有提升。目前最新版本已经升级到了yolov8,是目前最新最先进的目标检测算法,且很适合部署用于煤矿运输带异物检测设备。yolov8算法具备高性能和高准确度的特点,还同时兼顾检测速度,继承了前几代模型的优点。不过在类似复杂的矿井场景下,矿井中运输带环境灰暗、特征图难以提取等特点,现有的模型仍然存在很大的优化空间。通过结合深度学习bottleneck特征融合和轻量化检测头技术,能够克服传统算法的种种缺陷,实现准确的异物识别。
技术实现思路
1、本发明的目的在于弥补现有技术存在的缺陷,提供了一种基于bottleneck和四检测头的煤矿运输带异物检测方法,以解决现有模型大、精度差、速度不平衡的情况,避免了传统算法常见的误检和漏检问题。此外,避免环境造成干扰的相似性,实现对小目标的识别。
2、为实现上述目的,本发明提供如下技术方案:
3、一种基于bottleneck和四检测头的煤矿运输带异物检测方法,包括以下步骤:
4、s1、图像处理库和马赛克相结合的数据增强技术对截取的数据集进行扩增数据集。
5、s2、将原始数据集和增强数据集按照预定的比例进行划分训练集、验证集和测试集。
6、s3、对yolov8模型进行改进,对改进后的模型使用测试集进行测试。
7、s4、设置必要的超参数,对改进后tcm-yolo模型对分类好的数据集进行迭代训练,得到完整的模型并保存。
8、s5、将测试集的图片输入到训练好的模型中,通过测试获取检测目标位置、类别信息等。
9、本发明技术方案的进一步改进在于:
10、其中,所述步骤1中,对获取的视频监控进行随机帧率截图图片数据集,通过图像处理库和马赛克相结合的数据增强技术进行图片扩充。
11、其中,对于步骤1当中帧率截取数据集和扩增,具体流程如下:
12、帧率截取数据集包括数据集的获取和数据集的清洗;对获取的监控视频使用sdk抓取图片和python-cv库进行随机帧率进行获取图片;获取到完整的数据集,并对其中重复的数据集进行清洗;数据增强的过程主包括随机裁剪、旋转、缩放、翻转、变形、颜色变换、模糊等操作,并从当中随机取4张图片数据集进行随机组合为一张数据集图片,从而得到最终的数据集。
13、数据集中包含常见的二种异物类型:锚杆和石块。其中部分数据集为扩增后产生的新数据集,并对其中扩增的数据集进行重新标注,生成包含类别和位置坐标的xml和txt文件。
14、步骤s2中,将集成后的数据集按照8:1:1的比例划分训练集、验证集和测试集。
15、步骤s3中,所述对yolov8模型进行改进,包括以下步骤:
16、s31、利用深度可分离卷积dwconv和se模块用于构建替换原yolov8网络中的bottleneck,用于增强模型的特征提取能力,其中每个组的通道都被重新排列,从而增加了特征的多样性,有助于模型更好地学习数据中的不同模式。将传统的bottleneck分成四个部分,四个分支对这四个部分分别进行处理:第一部分保持不变,连接全连接层,第二部分经过普通卷积生成不含冗余的特征图,第三部分经过se块对输入进行挤压操作,然后对挤压后的特征进行激励,最后与原始输入相乘,以达到重新调整通道权重的效果,第四部分经过深度可分离卷积提取空间特征,将这四个部分的特征图拼接在一起。
17、s32、构建跨通道交互meca通道注意力,对eca注意力的输入层进行自适应平均池化和自适应最大池化操作,然后进行相加操作,增强模块的全局视觉信息,使模型可以适应大小不同的输入大小,而不是固定的尺寸大小;使用卷积进行局部领域操作,实现对相邻通道交互信息的局部捕捉,最后通过s型激活函数生产不同的权重,进行归一化操作,输出具有通道信息的特征图。
18、s33、在颈部网络中增加一个轻量级辅助小目标检测头,提高网络对于小目标的检测能力;在减少小目标的漏检和误检率的情况下,进行更深层次的特征传递和特征融合,以使小目标的定位与识别更加准确。
19、步骤s4中,所述设置训练模型的超参数,包括图像尺寸为640×640,优化器选择随机梯度下降算法,批处理大小为16,训练次数为300,动量值设为0.937,初始学习率0.01等。
20、步骤s5中,所述将分类后的测试集数据集输入到训练好的模型中,输出检测结果其中包括位置和类别信息,通过改进后的网络的23,26,29,32层的轻量级yolo-head检测头来检测目标异物。
21、本发明提供一种基于bottleneck和四检测头的煤矿运输带异物检测方法,其优点体现在:
22、1、本发明通过利用构建全新的sc2f模块替换原有的bottleneck,在进一步降低模型的参数两和浮点计算的同时提升模型的精确度和识别性能。
23、2、本发明通过弥补现有注意力机制的缺陷,提高模型对前景信息的提取能力,适应不同尺度的目标异物。
24、3、本发明通过在头部网络改进并优化4个轻量化检测头,使模型对更小的目标识别能力更强,减少模型的漏检和错检率,降低模型的计算负担,适合部署边缘检测设备。
25、4、相比于现有的方法,本发明通过对现有的yolov8网络进行改进,实现了一种对当今煤矿运输带异物的检测算法,将识别精确度和模型大小很好得平衡。
1.一种基于bottleneck和四检测头的煤矿运输带异物检测方法,包括以下步骤:
2.根据权利要求1所述的一种基于bottleneck和四检测头的煤矿运输带异物检测算法,其特征在于步骤1包括:
3.根据权利要求1所述的一种基于bottleneck和四检测头的煤矿运输带异物检测算法,其特征在于s3具体包括以下:
4.根据权利要求3所述的一种基基于bottleneck和四检测头的煤矿运输带异物检测方法,其特征在于s3具体包括以下:
5.根据权利要求4所述的一种基基于bottleneck和四检测头的煤矿运输带异物检测方法,其特征在于s3具体包括以下:
6.根据权利要求5所述的一种基基于bottleneck和四检测头的煤矿运输带异物检测方法,其特征在于:所述s4中,具体包括:采用随机梯度下降算法作为优化器,批处理大小为16,训练次数为300,动量值设为0.937,初始学习率0.01,权重衰减为0.0005,iou设置为0.5,设置输入尺寸为640×640。
7.根据权利要求6所述的一种基基于bottleneck和四检测头的煤矿运输带异物检测方法,其特征在于: