1.本发明涉及自动卡口编码一体机上雷管数量识别技术领域，具体涉及一种识别自动卡口编码一体机上雷管数量的方法及装置。
背景技术：2.自动卡口编码一体机上的流水线上的雷管盒子中雷管数量检测是非常重要的一个环节，必须保证组成产品所需雷管数量满足要求。在实际的雷管盒子生产中，雷管易存在漏装、错装和误装现象，影响产品的出厂合格率，对企业造成严重的经济损失。
3.在雷管的生产过程中，每个雷管盒子里指定要放置固定数量的雷管，现阶段通常采用人工核对的方式来检测雷管数量，成本较高，并且人工检测时，长时间的工作会导致人眼出现视觉疲劳，增加零部件被漏检和误检的风险。目前，随着人工智能和工业自动化的发展，计算机视觉技术越来越广泛应用于生产线产品质量检测领域。
4.为了提升雷管数量检测精度，多采用基于图像识别的方法对雷管数量进行识别，但由于雷管盒子雷管所在的区域关键点特征不明显，不易于检测，为图像识别带来了一定的困难。
技术实现要素：5.本发明方法的目的是提供一种基于神经网络和仿射变换的雷管数量检测，使用cnn卷积神经网络，对雷管盒子关键点进行检测，使用仿射变换对雷管区域图像进行提取，解决了雷管区域提取困难的问题，采用卷积神经网络，对雷管数量进行检测，提升了检测精度。
6.第一方面，本发明提供一种识别自动卡口编码一体机上雷管数量的方法，具体包括以下步骤：
7.s1、雷管盒子关键点检测模型的训练；
8.s2、雷管检测模型的训练；
9.s3、雷管盒子图像集采集；
10.s4、雷管盒子关键点检测：所述雷管盒子关键点包括雷管线区域角点及雷管区域角点，将所述雷管盒子图像集中任意一张图像输入雷管盒子关键点检测模型中，获取所述雷管盒子的至少三个关键点坐标，所述关键点不在同一直线上；
11.s5、雷管区域图像提取，获得雷管区域图像集；
12.s6、雷管数量获取：将所述雷管区域图像集输入雷管检测模型中，获取所述雷管区域图像集中每一张图像的雷管数量；
13.s7、雷管数量异常图像数统计：设定雷管数量异常阈值，统计所述雷管区域图像集中雷管数量不等于所述异常阈值的图像个数，得到所述雷管数量异常图像数；
14.s8、雷管盒子异常判断：设定雷管数量异常图像数阈值，根据所述雷管数量异常图像数与雷管数量异常图像数阈值的关系对雷管盒子的雷管数量异常进行判断：
15.当雷管数量异常图像数≥雷管数量异常图像数阈值，则输出雷管盒子异常；
16.当雷管数量异常图像数＜雷管数量异常图像数阈值，则输出雷管盒子正常。
17.进一步地，在所述s3、雷管盒子图像集采集之前还包括雷管盒子到位判断：通过摄像头采集自动卡口编码一体机雷管停顿区域内的判断图像，根据所述判断图像中雷管线颜色信息判断雷管盒子是否已到位，当判断结果为雷管盒子已到位则进行所述雷管盒子图像集采集。
18.进一步地，所述步骤s1具体包括：
19.s11、雷管盒子关键点检测模型训练样本的采集及预处理；
20.s12、构建雷管盒子关键点检测模型的卷积神经网络结构；
21.s13、对所述预处理后的雷管盒子关键点检测模型训练样本进行训练，得到雷管盒子关键点检测模型。
22.进一步地，所述步骤s2具体包括：
23.s21、雷管检测模型训练样本的采集及预处理；
24.s22、构建雷管检测模型的卷积神经网络结构；
25.s23、对所述预处理后的雷管检测模型训练样本进行训练，得到雷管检测模型。
26.进一步地，所述雷管盒子到位判断具体包括：
27.步骤一、在所述判断图像中标记所述雷管线区域；
28.步骤二、将所述雷管线区域由rgb空间转换到hsv空间，根据雷管线颜色信息确定h、s、v分量的取值范围；
29.步骤三、在所述雷管线区域内计算所述雷管线颜色的像素点的占比；
30.步骤四、设定比例阈值，当所述雷管线颜色的像素点的占比大于所述比例阈值，判断为雷管盒子已到位。
31.进一步地，所述比例阈值根据至少两个雷管盒子到位情况下在所述雷管线区域内所述雷管线颜色的像素点占比的最小值确定。
32.进一步地，所述步骤s4、雷管盒子关键点检测，获取了雷管线区域的4个角点坐标及雷管区域的2个角点坐标，得到所述雷管盒子关键点坐标。
33.进一步地，所述步骤s5具体包括：
34.s51、选择所述雷管盒子图像集中任意一张图像，计算仿射变换后所述雷管盒子关键点坐标；
35.s52、根据仿射变换前所述雷管盒子关键点坐标和仿射变换后所述雷管盒子关键点坐标计算仿射变换参数；
36.s53、根据仿射变换参数对所述雷管盒子图像集中每一张图像进行仿射变换；
37.s54、根据雷管区域尺寸及位置，截取仿射变换后的雷管盒子图像集中每一张图像的雷管区域图像，获得雷管区域图像集。
38.进一步地，所述雷管检测模型为雷管数量检测模型，所述步骤s6为：将所述雷管区域图像集输入雷管数量检测模型中，获取所述雷管区域图像集中每一张图像的雷管数量。
39.进一步地，所述雷管检测模型为雷管位置检测模型，所述步骤s6为：将所述雷管区域图像集输入雷管位置检测模型中，获取所述雷管区域图像集中每一张图像的雷管位置，根据所述雷管区域图像集中每一张图像的雷管位置，获取所述雷管区域图像集中每一张图
像的雷管数量。
40.进一步地，所述雷管数量异常图像数阈值为所述雷管区域图像集中图像数量的5％。
41.第二方面，本发明提供一种识别自动卡口编码一体机上雷管数量的装置，包括：
42.训练模块：所述训练模块用于所述雷管盒子关键点检测模型以及所述雷管检测模型的训练；
43.雷管盒子图像集采集模块：通过所述摄像头采集已到位雷管盒子在所述停顿区域内停顿期间的雷管盒子图像集；
44.雷管盒子关键点检测模块：所述雷管盒子关键点包括雷管线区域角点及雷管区域角点，将所述雷管盒子图像集中任意一张图像输入雷管盒子关键点检测模型中，获取所述雷管盒子的至少三个关键点坐标，所述关键点不在同一直线上；
45.雷管区域图像提取模块：根据所述雷管盒子关键点坐标获取仿射变换参数，根据所述仿射变换参数对所述雷管盒子图像集中每一张图像进行仿射变换，截取变换后的所述雷管盒子图像集中每一张图像的雷管区域图像，获得雷管区域图像集；
46.雷管数量获取模块：将所述雷管区域图像集输入雷管检测模型中，获取所述雷管区域图像集中每一张图像的雷管数量；
47.雷管数量异常图像数统计模块：设定雷管数量异常阈值，统计所述雷管区域图像集中雷管数量不等于所述异常阈值的图像个数，得到所述雷管数量异常图像数；
48.雷管盒子异常判断模块：设定雷管数量异常图像数阈值，根据所述雷管数量异常图像数与雷管数量异常图像数阈值的关系对雷管盒子的雷管数量异常进行判断。
49.进一步地，所述装置还包括雷管盒子到位判断模块：通过摄像头采集自动卡口编码一体机雷管停顿区域内的判断图像，根据所述判断图像中雷管线颜色信息判断雷管盒子是否已到位，当判断结果为雷管盒子已到位则进行所述雷管盒子图像集采集。
50.本发明方法的包含训练阶段和检测阶段，训练阶段又包括雷管盒子关键点检测模型以及所述雷管检测模型的训练。
51.本发明的有益效果在于：
52.(1)本发明利用安装于自动卡口编码一体机上的摄像头实时获取雷管盒子的图像；并利用图像处理、人工智能等技术实现了雷管盒子是否到位的判断、雷管盒子关键点的定位、雷管盒子的位姿矫正，以及雷管的位置检测；进而实现了自动卡口编码一体机上雷管的精准数量统计，实现了自动化识别且成本低廉、简单便捷、效果明显，其应用可以为雷管生产行业减少成本，减少包装过程中产品数量不合格现象的出现，降低相应的经济损失。
53.(2)由于雷管盒子雷管所在的区域四个关键点特征不明显，不易于检测的问题，首先使用cnn卷积神经网络，对雷管盒子关键点进行检测，再使用仿射变换对雷管区域图像进行提取，解决了雷管区域提取困难的问题，提升了检测精度。
54.(3)针对单帧目标检测的准确度不高的问题，通过所述摄像头采集已到位雷管盒子在所述停顿区域内停顿期间的雷管盒子图像集，采用cnn对图像集的雷管数量进行识别，统计多张图像的雷管数量进行综合判断，可以提高数量判断的准确度。
附图说明
55.图1为本发明实施例提供的一种识别自动卡口编码一体机上雷管数量的方法的流程示意；
56.图2为本发明实例步骤s1雷管盒子关键点检测模型的结构示意图；
57.图3为本发明实例步骤s2雷管位置检测模型的结构示意图；
58.图4为本发明实施例步骤s4通过摄像头获取自动卡口编码一体机雷管停顿区域的实时图像；
59.图5为本发明实施例步骤s5仿射变换原理图；
60.图6为本发明实施例步骤s5雷管盒子各个关键点之间的位置关系图；
61.图7为本发明实施例步骤s5输出的雷管区域图像；
62.图8本发明实施例提供的一种识别自动卡口编码一体机上雷管数量的装置组成框图。
具体实施方式
63.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合，下面结合附图对本发明方法进行进一步详细说明。
64.如图1所示一种识别自动卡口编码一体机上雷管数量的方法，具体包括以下步骤：
65.s1、雷管盒子关键点检测模型的训练；
66.s2、雷管检测模型的训练；
67.s3、雷管盒子图像集采集：通过所述摄像头采集已到位的雷管盒子在自动卡口编码一体机的停顿区域内停顿期间的雷管盒子图像集；
68.s4、雷管盒子关键点检测：所述雷管盒子关键点包括雷管线区域角点及雷管区域角点，将所述雷管盒子图像集中任意一张图像输入雷管盒子关键点检测模型中，获取所述雷管盒子的至少三个关键点坐标，所述关键点不在同一直线上；
69.s5、雷管区域图像提取：根据所述雷管盒子关键点坐标获取仿射变换参数，根据所述仿射变换参数对所述雷管盒子图像集中每一张图像进行仿射变换，截取变换后的所述雷管盒子图像集中每一张图像的雷管区域图像，获得雷管区域图像集；
70.s6、雷管数量获取：将所述雷管区域图像集输入雷管检测模型中，获取所述雷管区域图像集中每一张图像的雷管数量；
71.s7、雷管数量异常图像数统计：设定雷管数量异常阈值，统计所述雷管区域图像集中雷管数量不等于所述异常阈值的图像个数，得到所述雷管数量异常图像数；
72.s8、雷管盒子异常判断：设定雷管数量异常图像数阈值，根据所述雷管数量异常图像数与雷管数量异常图像数阈值的关系对雷管盒子的雷管数量异常进行判断：
73.当雷管数量异常图像数≥雷管数量异常图像数阈值，则输出雷管盒子异常；
74.当雷管数量异常图像数＜雷管数量异常图像数阈值，则输出雷管盒子正常。
75.步骤s1、s2为训练阶段进行雷管盒子关键点检测模型及雷管检测模型的训练。
76.雷管盒子关键点包括雷管线区域角点及雷管区域角点，雷管盒子关键点检测模型，根据输出关键点的需要对雷管盒子的雷管线区域及雷管区域的角点进行标记。
77.雷管盒子关键点检测模型的训练过程为：
78.s11：雷管盒子关键点检测模型训练样本的采集及预处理；
79.采集雷管盒子关键点检测模型训练样本，训练样本为各种光照情况下，各种方位角度的雷管盒子图像，样本标记为此样本图像集中盒子的完整度，标记雷管盒子中雷管线区域的三个角点的归一化坐标，雷管线区域的角点如图4所示的a、b、c、d四个角点，本实施例中统一标记雷管线区域的a、b、c三个角点作为雷管盒子的关键点。
80.其中盒子如果完整度超过50％，则其完整度标签为1，否则为0，盒子关键点的归一化坐标x,y为：
[0081][0082]
其中xo为原始x坐标，yo为原始y坐标，w为图像宽度，h为图像高度。
[0083]
s12：构建雷管盒子关键点检测模型的卷积神经网络结构；
[0084]
如图2所示，步骤s1中雷管盒子关键点检测模型由一个端到端的检测神经网络组成。网络结构由输入数据层，特征提取模块、输出模块组成，其中特征提取模块由多个卷积(conv)层、prelu层、池化(pool)层交替连接。输出模块有两个分支，一个分支为全连接(innerproduct)层和softmax层相连接，输出图像为雷管盒子的置信度，用以模拟盒子的完整度；另一个分支为一个全连接层，输出为雷管盒子关键点的坐标
[0085]
雷管盒子关键点检测模型的卷积神经网络结构的特征提取模块是由至少3个卷积(conv)层、prelu层、池化(pool)层交替连接组成，需根据实际应用场景来确定用几个组成。
[0086]
本发明实施例中，特征提取模块是由5个卷积(conv)层、prelu层、池化(pool)层交替连接加两个卷积(conv)层、prelu层交替连接组成的。
[0087]
s13：对所述预处理后的雷管盒子关键点检测模型训练样本进行训练，得到雷管盒子关键点检测模型。
[0088]
目标函数设计为：
[0089][0090]
其中，α
coord
和α
noobj
分别为目标和非目标的权值，本实施方式中，目标具体为雷管盒子；i是图像的索引，j是关键点的索引。代表如果是目标，该项为1，否则为0；代表如果是目标，该项为0，否则为1；x、y分别为目标的关键点的归一化坐标,c为目标的类别号,完整度大于50％的类别号为1，否则为0。带^的符号代表网络估计的对应属性的值。
[0091]
最后：采用反向传播的方式训练神经网络的参数，直到网络达到我们设定的最大迭代次数或者最小误差之后结束网络训练，获得雷管盒子的关键点检测模型。
[0092]
为了实现雷管区域雷管数量的识别，可直接采用卷积神经网络模型直接识别雷管区域雷管的数量，也可以识别雷管区域图像中所有雷管所在的位置，再根据模型输出的雷管位置数统计雷管的数量。
[0093]
本发明提供了雷管检测模型的训练的一个实施例，进行雷管数量检测模型的训练：
[0094]
s21、雷管数量检测模型训练样本的采集及预处理；
[0095]
将雷管盒子关键点检测模型训练样本输入雷管盒子关键点检测模型，用该模型的输出通过仿射变换获得雷管区域图像集，对雷管区域图像集再进行标注训练，样本标记为此样本图像中雷管的数量。
[0096]
s22、构建雷管数量检测模型的卷积神经网络结构；所述雷管数量检测模型用于对所述仿射变换后的雷管图像中的雷管进行识别，得到所有雷管的数量。
[0097]
如图3所示，步骤s2中雷管盒子检测模型m2由一个端到端的检测神经网络组成。网络结构由输入数据层，特征提取模块、输出模块组成，其中特征提取模块由多个卷积(conv)层、prelu层、池化(pool)层交替连接。输出模块为回归(regression)层，输出为图中雷管的数量
[0098]
步骤s2，所述特征提取模块是由至少3个卷积(conv)层、prelu层、池化(pool)层交替连接组成，需根据实际应用场景来确定用几个组成。
[0099]
本发明实施例中，特征提取模块是由7个卷积(conv)层、prelu层、池化(pool)层交替连接加两个卷积(conv)层、prelu层交替连接组成的。
[0100]
s23、对所述预处理后的雷管数量检测模型训练样本进行训练，得到雷管数量检测模型。
[0101]
目标函数设计为：
[0102][0103]
其中，n为图像中雷管的实际数量，为网络估计的图像中雷管的数量，i是图像的索引。
[0104]
最后：采用反向传播的方式训练神经网络的参数，直到网络达到我们设定的最大迭代次数或者最小误差之后结束网络训练，获得雷管数量检测模型。
[0105]
本发明提供了雷管检测模型的训练的另一个实施例，进行雷管位置检测模型的训练：
[0106]
s21、雷管位置检测模型训练样本的采集及预处理；
[0107]
收集雷管检测模型训练样本，包括各种雷管数量的雷管区域图像，样本标记为此样本图像中雷管的左上角坐标和宽、高。
[0108]
s22、构建雷管位置检测模型的卷积神经网络结构；雷管位置检测模型用于对所述仿射变换后的雷管图像中的雷管进行识别，得到所有雷管的左上角坐标和宽、高。
[0109]
如图3所示，步骤s2中雷管盒子检测模型m2由一个端到端的检测神经网络组成。网络结构由输入数据层，特征提取模块、输出模块组成，其中特征提取模块由多个卷积(conv)层、prelu层、池化(pool)层交替连接。输出模块为回归(regression)层，输出为所有目标的左上角坐标和宽高
[0110]
步骤s2，所述特征提取模块是由至少3个卷积(conv)层、prelu层、池化(pool)层交替连接组成，需根据实际应用场景来确定用几个组成。
[0111]
本发明实施例中，特征提取模块是由7个卷积(conv)层、prelu层、池化(pool)层交替连接加两个卷积(conv)层、prelu层交替连接组成的。
[0112]
s23、对所述预处理后的雷管位置检测模型训练样本进行训练，
[0113]
目标函数设计为：
[0114][0115]
其中，α
coord
和α
noobj
分别为目标和背景的权值，本实施方式中，目标具体为雷管；代表如果是目标，该项为1，否则为0；代表如果是目标，该项为0，否则为1；x、y、w、h分别为目标的行、列坐标以及宽、高。c为目标的类别号，p(c)为目标为c类的概率。带^的符号代表网络估计的对应属性的值。
[0116]
采用反向传播的方式训练神经网络的参数，直到网络达到我们设定的最大迭代次数或者最小误差之后结束网络训练，得到雷管位置检测模型。
[0117]
获得雷管盒子关键点检测模型及雷管检测模型后，进入识别阶段通过采集雷管盒子的图像进行雷管数量检测。
[0118]
雷管盒子在自动卡口编码一体机停顿区域会停顿一定的时间，通过摄像头采集雷管盒子停顿期间的雷管盒子图像集，为了精确确定雷管雷子的停顿时间，实现停顿区域内停顿期间雷管盒子图像的精准采集，本发明提供了另一实施例，在雷管盒子图像集采集前进行雷管盒到位的判断。
[0119]
雷管盒子到位判断模块：通过摄像头采集自动卡口编码一体机雷管停顿区域内的判断图像，根据所述判断图像中雷管线颜色信息判断雷管盒子是否已到位，当判断结果为雷管盒子已到位则进行雷管盒子图像集采集；
[0120]
雷管盒子到位判断的具体步骤为：
[0121]
步骤一、在所述判断图像中标记所述雷管线区域，判断图像中标记的雷管线区域如图4虚线框所示。
[0122]
步骤二、将所述雷管线区域由rgb空间转换到hsv空间，根据雷管线颜色信息确定h、s、v分量的取值范围，雷管线的颜色为红色，hsv的取值范围为：0《h《10或者155《h《180，同时s》43，同时v》46。
[0123]
步骤三、在所述雷管线区域内计算所述雷管线颜色的像素点的占比，计算红色像素点在雷管线区域的像素点占比。
[0124]
步骤四、设定比例阈值，当所述雷管线颜色的像素点的占比大于所述比例阈值，判断为雷管盒子已到位。
[0125]
比例阈值根据至少两个雷管盒子到位情况下在所述雷管线区域内所述雷管线颜色的像素点占比的最小值确定。
[0126]
在本发明所提供的一个实施例中，采集2个雷管盒子到位情况下的图像，计算两张图像雷管线颜色像素点占比分别为76％、75％，取75％为比例阈值，当判断图像雷管线颜色的像素点占比大于75％，并连续持续5秒钟，则认为雷管到位。
[0127]
在本发明所提供的一个实施例中，采集10个雷管盒子到位情况下的图像，计算10张图像雷管线颜色像素点占比，最小值为80％，取80％为比例阈值，当判断图像雷管线颜色
的像素点占比大于80％，并连续持续5秒钟，则认为雷管到位。
[0128]
在判断雷管盒子到位的情况下，通过所述摄像头采集已到位雷管盒子在所述停顿区域内停顿期间的雷管盒子图像集。
[0129]
s3、雷管盒子图像集采集：通过所述摄像头采集已到位雷管盒子在所述停顿区域内停顿期间的雷管盒子图像集；
[0130]
为了解决采集图像清晰度不够，以及光线、遮挡物等对识别精度的影响，通过位于自动卡口编码一体机上方的摄像头实时采集雷管盒子在流水线上移动过程中的图像，摄像头尽量安装到自动卡口编码一体机的上方，对准雷管盒子停顿的位置，所采集到的图像如图4所示，所拍摄的图片由于从正上方拍摄，可以清晰地对雷管盒子进行拍摄。
[0131]
s4、雷管盒子关键点检测：所述雷管盒子关键点包括雷管线区域角点及雷管区域角点，将所述雷管盒子图像集中任意一张图像输入雷管盒子关键点检测模型中，获取所述雷管盒子的至少三个关键点坐标，所述关键点不在同一直线上；
[0132]
雷管盒子关键点检测，由于雷管盒子停顿不动，雷管盒子图像集中雷管盒子的关键点也是固定的，因此选取雷管盒子图像集中任意一张图像输入雷管盒子关键点检测模型中，获取所述雷管盒子的雷管线区域的三个角点坐标，如图4中标记的a、b、c三个位置，得到雷管盒子关键点坐标。
[0133]
摄像头采集到的雷管盒子图像可能受光照、遮挡等因素的影响，雷管盒子关键点检测模型的输出可能有波动。
[0134]
针对这种情况，本发明所提供的另一实施例，将采集到的雷管盒子图像集输入雷管盒子关键点检测模型中，获取所述雷管盒子关键点坐标集，即获取所述雷管线区域的a、b、c三个角点坐标集，计算所述坐标集均值，得到所述雷管盒子关键点坐标。
[0135]
步骤s5、雷管区域图像提取：根据所述雷管盒子关键点坐标获取仿射变换参数，根据所述仿射变换参数对所述雷管盒子图像集中每一张图像进行仿射变换，截取变换后的所述雷管盒子图像集中每一张图像的雷管区域图像，获得雷管区域图像集；
[0136]
如果4所示，雷管盒子中a、b、c、d构成的矩形区域为雷管线区域，e、f、g、h为雷管区域，但由于雷管盒子雷管所在的区域四个关键点特征不明显，尤其是雷管缺失的时候，图4中g、h两点不易于检测，为图像识别带来了一定的困难，本实施例输出a、b、c三个关键点作为雷管盒子关键点，再进行雷管区域提取，本实施例中步骤s5具体包括：
[0137]
s51、选择所述雷管盒子图像集中任意一张图像，计算仿射变换后所述雷管盒子关键点坐标；
[0138]
选择雷管盒子图像集中任意一张图像，仿射变换的示意图如图5所示。
[0139]
a、b、c、d为仿射变换前雷管线区域的四个角点，e、f、g、h为仿射变换前雷管区域的四个角点；a'、b'、c'、d'为仿射变换后雷管线区域的四个角点，e'、f'、g'、h'为仿射变换后雷管区域的四个角点，令仿射变换后c
′
点和d
′
点在x轴上，e
′
点在y轴上。
[0140]
雷管盒子的八个关键点的位置关系如图6所示，假设δx2＝αδx1,δy2＝βδy1,δy3＝γδy1。其中α、β和γ由雷管盒子的尺寸决定。
[0141]
仿射变换之后各个点之间的距离的比例关系不变：δx
′2＝αδx
′1,δy
′2＝βδy
′1,δy
′3＝γδy
′1。
[0142]
在本发明所提供的一个实施例中，α＝24，β＝0.35，γ＝0.45，获取的雷管区域图
像的尺寸为600像素宽，250像素高。即
[0143]
2δx
′1+δx
′2＝(2+α)δx
′1＝600,δy
′2+δy
′3＝(β+γ)δy
′1＝250。
[0144]
可以求得
[0145]
进一步，可以求得a
′
点的坐标(δx
′1,-δy
′1)为(23，-313)，b
′
点的坐标(δx
′1+δx
′2，-δy
′1)为(575，-313)，c
′
点的坐标(δx
′1+δx
′2，0)为(575，0)。
[0146]
s52、根据仿射变换前所述雷管盒子关键点坐标和仿射变换后所述雷管盒子关键点坐标计算仿射变换参数；
[0147]
根据雷管盒子关键点仿射变换前的坐标(a、b、c)以及仿射变换后的坐标(a'、b'、c')带入以下方程中可以求取仿射变换参数a1，a2，a3，a4，t
x
，ty。
[0148][0149]
(x,y)为仿射变换前的坐标，(x
′
,y
′
)为仿射变换后的坐标。
[0150]
s53、根据仿射变换参数对所述雷管盒子图像集中每一张图像进行仿射变换；
[0151]
s54、根据雷管区域尺寸及位置，截取仿射变换后的雷管盒子图像集中每一张图像的雷管区域图像，获得雷管区域图像集。
[0152]
对变换后的雷管盒子图像集中每一张图像截取左上角为e'，根据雷管区域图像的尺寸为600像素宽，250像素高，截取右下角为(600，250)的矩形区域，获得雷管区域图像集，雷管区域图像如图7所示。
[0153]
本发明提供的另一个实施例中，所述步骤s4、雷管盒子关键点检测，获取了雷管线区域的4个角点坐标及雷管区域的2个角点坐标，得到所述雷管盒子关键点坐标。
[0154]
在该实施例中，关键点检测模型输出雷管线区域的四个角点坐标(a、b、c、d)及雷管区域的两个角点坐标(e、f)，通过对雷管盒子中易于检测的6个关键点进行输出，作为雷管盒子关键点。
[0155]
选择雷管盒子图像集中任意一张图像，计算仿射变换后所述雷管盒子关键点坐标(a'、b'、c'、d'、e'、f')。
[0156]
可由任意aa
′
、bb
′
、cc
′
、dd
′
、ee
′
、ff
′
六组点对中的任意三组点对的坐标(x,y)，(x
′
,y
′
)带入以下方程中可以求取仿射变换参数。
[0157]
步骤s6、雷管数量获取，将雷管区域图像集输入雷管检测模型中，获取雷管区域图像集中每一张图像的雷管数量；
[0158]
在本发明提供的一个实施例中，雷管检测模型为雷管数量检测模型，步骤s6将雷管区域图像集输入雷管数量检测模型中，输出雷管区域图像集中每一张图像的雷管数量。
[0159]
在本发明提供的另一个实施例中，雷管检测模型为雷管位置检测模型，步骤s6将雷管区域图像集输入雷管位置检测模型中，获取雷管区域图像集中每一张图像的雷管位置，根据雷管区域图像集中每一张图像的雷管位置，获取雷管区域图像集中每一张图像的雷管数量。
[0160]
步骤s7、雷管数量异常图像数统计：设定雷管数量异常阈值，雷管数量异常阈值根据正常情况下雷管盒子中所安装的雷管数量确定，本实施例中雷管盒子正常情况下，雷管数量为10个，设定雷管数量异常阈值为10，统计雷管区域图像集中图像的雷管数量不等10
的图像个数，得到雷管数量异常图像数；
[0161]
s8、雷管盒子异常判断：因为单张图像的目标检测的准确度不能达到100％，所以统计多张图像综合判断，可以提高数量判断的准确度。本发明所提供的实施例中，根据雷管盒子图像集中雷管数量异常图像数与雷管数量异常图像数阈值的关系对雷管盒子的雷管数量异常进行判断，当雷管数量异常图像数不超过雷管盒子图像集中图像数的5％认定为雷管盒子正常。
[0162]
设定雷管数量异常图像数阈值＝雷管盒子图像集中图像数
×
5％；
[0163]
当雷管数量异常图像数≥雷管数量异常图像数阈值，则输出雷管盒子异常；
[0164]
当雷管数量异常图像数＜雷管数量异常图像数阈值，则输出雷管盒子正常。
[0165]
本发明实施例首先使用cnn卷积神经网络，对雷管盒子关键点进行检测，在使用仿射变换对雷管区域图像进行提取，解决了雷管区域提取困难的问题，提升了检测精度，针对单帧目标检测的准确度不高的问题，通过所述摄像头采集已到位雷管盒子在所述停顿区域内停顿期间的雷管盒子图像集，采用cnn对图像集的雷管数量进行识别，统计多张图像的雷管数量进行综合判断，可以提高数量判断的准确度。
[0166]
为了有效提高自动卡口编码一体机上雷管数量识别过程的准确性及可靠性，且能够有效提高识别过程的自动化程度及效率，本技术提供一种识别自动卡口编码一体机上雷管数量的方法中全部或部分内容的一种识别自动卡口编码一体机上雷管数量的装置的实施例，该装置包含有如下内容：
[0167]
训练模块：所述训练模块用于所述雷管盒子关键点检测模型以及所述雷管检测模型的训练；
[0168]
雷管盒子图像集采集模块：通过所述摄像头采集已到位雷管盒子在所述停顿区域内停顿期间的雷管盒子图像集；
[0169]
雷管盒子关键点检测模块：所述雷管盒子关键点包括雷管线区域角点及雷管区域角点，将所述雷管盒子图像集中任意一张图像输入雷管盒子关键点检测模型中，获取所述雷管盒子的至少三个关键点坐标，所述关键点不在同一直线上；
[0170]
雷管区域图像提取模块：根据所述雷管盒子关键点坐标获取仿射变换参数，根据所述仿射变换参数对所述雷管盒子图像集中每一张图像进行仿射变换，截取变换后的所述雷管盒子图像集中每一张图像的雷管区域图像，获得雷管区域图像集；
[0171]
雷管数量获取模块：将所述雷管区域图像集输入雷管检测模型中，获取所述雷管区域图像集中每一张图像的雷管数量；
[0172]
雷管数量异常图像数统计模块：设定雷管数量异常阈值，统计所述雷管区域图像集中雷管数量不等于所述异常阈值的图像个数，得到所述雷管数量异常图像数；
[0173]
雷管盒子异常判断模块：设定雷管数量异常图像数阈值，根据所述雷管数量异常图像数与雷管数量异常图像数阈值的关系对雷管盒子的雷管数量异常进行判断。
[0174]
本实施例提供的装置，具备训练阶段和识别阶段对应的多个模块，训练模块实现卷积神经网络模型的训练，识别阶段包括图像采集模块利用安装于自动卡口编码一体机上的摄像头实时获取雷管盒子的图像；并利用图像处理、人工智能等技术实现了雷管盒子是否到位的判断、雷管盒子关键点的定位、雷管盒子的位姿矫正，以及雷管的位置检测；进而实现了自动卡口编码一体机上雷管的精准数量统计，实现了自动化识别且成本低廉、简单
便捷、效果明显，其应用可以为雷管生产行业减少成本，减少包装过程中产品数量不合格现象的出现，降低相应的经济损失。
[0175]
在本发明的另一个实施例中，参见图8，在所述装置中还包括雷管盒子到位判断模块。
[0176]
所述装置还包括雷管盒子到位判断模块：通过摄像头采集自动卡口编码一体机雷管停顿区域内的判断图像，根据所述判断图像中雷管线颜色信息判断雷管盒子是否已到位，当判断结果为雷管盒子已到位则进行所述雷管盒子图像集采集。
[0177]
本实施例通过在雷管盒子图像采集之前，进行雷管盒子的到位判断，可以更加精准的实现雷管盒子的图像采集，避免了非雷管盒子的采集，提升了后续图像检测的精度。以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。
技术特征：1.一种识别自动卡口编码一体机上雷管数量的方法，其特征在于，具体包括以下步骤：s1、雷管盒子关键点检测模型的训练；s2、雷管检测模型的训练；s3、雷管盒子图像集采集；s4、雷管盒子关键点检测：所述雷管盒子关键点包括雷管线区域角点及雷管区域角点，将所述雷管盒子图像集中任意一张图像输入雷管盒子关键点检测模型中获取所述雷管盒子的至少三个关键点坐标，所述关键点不在同一直线上；s5、雷管区域图像提取：获得雷管区域图像集；s6、雷管数量获取：将所述雷管区域图像集输入雷管检测模型中，获取所述雷管区域图像集中每一张图像的雷管数量；s7、雷管数量异常图像数统计：设定雷管数量异常阈值，统计所述雷管区域图像集中雷管数量不等于所述异常阈值的图像个数，得到所述雷管数量异常图像数；s8、雷管盒子异常判断：设定雷管数量异常图像数阈值，根据所述雷管数量异常图像数与雷管数量异常图像数阈值的关系对雷管盒子的雷管数量异常进行判断。2.根据权利要求1所述的一种识别自动卡口编码一体机上雷管数量的方法，其特征在于，在步骤s3之前还包括雷管盒子到位判断：通过摄像头采集自动卡口编码一体机雷管停顿区域内的判断图像，根据所述判断图像中雷管线颜色信息判断雷管盒子是否已到位，当判断结果为雷管盒子已到位则进行雷管盒子图像集采集。3.根据权利要求2所述的一种识别自动卡口编码一体机上雷管数量的方法，其特征在于，所述雷管盒子到位判断具体包括：步骤一、在所述判断图像中标记所述雷管线区域；步骤二、将所述雷管线区域由rgb空间转换到hsv空间，根据雷管线颜色信息确定h、s、v分量的取值范围；步骤三、在所述雷管线区域内计算所述雷管线颜色的像素点的占比；步骤四、设定比例阈值，当所述雷管线颜色的像素点的占比大于所述比例阈值，判断为雷管盒子已到位。4.根据权利要求3所述的一种识别自动卡口编码一体机上雷管数量的方法，其特征在于，所述比例阈值根据至少两个雷管盒子到位情况下在所述雷管线区域内所述雷管线颜色的像素点占比的最小值确定。5.根据权利要求1所述的一种识别自动卡口编码一体机上雷管数量的方法，其特征在于，所述步骤s4、雷管盒子关键点检测，获取了雷管线区域的4个角点坐标及雷管区域的2个角点坐标，得到所述雷管盒子关键点坐标。6.根据权利要求1所述的一种识别自动卡口编码一体机上雷管数量的方法，其特征在于，所述步骤s5具体包括：s51、选择所述雷管盒子图像集中任意一张图像，计算仿射变换后所述雷管盒子关键点坐标；s52、根据仿射变换前所述雷管盒子关键点坐标和仿射变换后所述雷管盒子关键点坐标计算仿射变换参数；s53、根据所述仿射变换参数对所述雷管盒子图像集中每一张图像进行仿射变换；
s54、根据雷管区域尺寸及位置，截取仿射变换后的雷管盒子图像集中每一张图像的雷管区域图像，获得雷管区域图像集。7.根据权利要求1所述的一种识别自动卡口编码一体机上雷管数量的方法，其特征在于，所述雷管检测模型为雷管数量检测模型，所述步骤s6为：将所述雷管区域图像集输入雷管数量检测模型中，获取所述雷管区域图像集中每一张图像的雷管数量。8.根据权利要求1所述的一种识别自动卡口编码一体机上雷管数量的方法，其特征在于，所述雷管检测模型为雷管位置检测模型，所述步骤s6为：将所述雷管区域图像集输入雷管位置检测模型中，获取所述雷管区域图像集中每一张图像的雷管位置，根据所述雷管区域图像集中每一张图像的雷管位置，获取所述雷管区域图像集中每一张图像的雷管数量。9.一种识别自动卡口编码一体机上雷管数量的装置，包括：训练模块：所述训练模块用于所述雷管盒子关键点检测模型以及所述雷管检测模型的训练；雷管盒子图像集采集模块：通过所述摄像头采集已到位雷管盒子在所述停顿区域内停顿期间的雷管盒子图像集；雷管盒子关键点检测模块：所述雷管盒子关键点包括雷管线区域角点及雷管区域角点，将所述雷管盒子图像集中任意一张图像输入雷管盒子关键点检测模型中，获取所述雷管盒子的至少三个关键点坐标，所述关键点不在同一直线上；雷管区域图像提取模块：根据所述雷管盒子关键点坐标获取仿射变换参数，根据所述仿射变换参数对所述雷管盒子图像集中每一张图像进行仿射变换，截取变换后的所述雷管盒子图像集中每一张图像的雷管区域图像，获得雷管区域图像集；雷管数量获取模块：将所述雷管区域图像集输入雷管检测模型中，获取所述雷管区域图像集中每一张图像的雷管数量；雷管数量异常图像数统计模块：设定雷管数量异常阈值，统计所述雷管区域图像集中雷管数量不等于所述异常阈值的图像个数，得到所述雷管数量异常图像数；雷管盒子异常判断模块：设定雷管数量异常图像数阈值，根据所述雷管数量异常图像数与雷管数量异常图像数阈值的关系对雷管盒子的雷管数量异常进行判断。10.根据权利要求9所述的一种识别自动卡口编码一体机上雷管数量的装置，其特征在于，还包括雷管盒子到位判断模块：通过摄像头采集自动卡口编码一体机雷管停顿区域内的判断图像，根据所述判断图像中雷管线颜色信息判断雷管盒子是否已到位，当判断结果为雷管盒子已到位则进行雷管盒子图像集采集。
技术总结本发明公开了一种识别自动卡口编码一体机上雷管数量的方法及装置，本发明方法包含训练阶段和检测阶段，训练阶段又包括雷管盒子关键点检测模型以及所述雷管检测模型的训练，检测阶段包括雷管盒子图像集采集、雷管盒子关键点检测、雷管区域提取、雷管数量检测、雷管数量异常图像数统计、雷管盒子异常判断等步骤。本发明利用安装于自动卡口编码一体机上的摄像头实时获取雷管盒子的图像，使用CNN卷积神经网络，对雷管盒子关键点进行检测，再使用仿射变换对雷管区域图像进行提取，解决了雷管区域提取困难的问题，提升了检测精度。提升了检测精度。提升了检测精度。
技术研发人员：李继凯
受保护的技术使用者：北京优创新港科技股份有限公司
技术研发日：2022.04.12
技术公布日：2022/7/5
