1.本技术涉及烟盒缺陷检测领域，尤其是涉及一种烟盒缺陷检测方法、装置、设备及介质。
背景技术：2.在烟草工业制造行业，香烟一般有三道制造工艺：制丝、卷接及包装，其中包装工艺是将卷接好的烟支打包形成烟盒，并将烟盒组装形成烟条。由于包装工序所形成的产品直接面向消费者，包装的质量直接影响消费者的购物体验，因此包装工艺的质量检测显得格外重要。
3.相关技术中，对包装工艺进行质量检测时一般采用深度学习的神经网络模型对烟盒的图像进行所有类别缺陷的检测，确定烟盒包装是否存在缺陷。由于在实际烟盒包装过程中，需要对大量的烟盒进行质量检测，以确定是否存在烟盒缺陷，但是由于神经网络模型进行烟盒缺陷检测时，需要对烟盒特征进行多次卷积以得到烟盒特征，检测效率较低。
4.因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
技术实现要素：5.为了提高烟盒缺陷检测效率，本技术提供了一种烟盒缺陷检测方法、装置、设备及介质。
6.第一方面，本技术提供一种烟盒缺陷检测方法，采用如下的技术方案：实时获取待检测烟盒图像；提取所述待检测烟盒图像的图像特征，并将所述图像特征与预设通用缺陷特征进行匹配，得到所述待检测烟盒图像的第一图像类别；若所述第一图像类别为通用缺陷类别，则确定所述待检测烟盒图像对应的烟盒为通用缺陷烟盒；若所述第一图像类别为其他类别，则将所述待检测烟盒图像输入到预先训练好的神经网络模型进行第二类别识别，得到第二图像类别；若所述第二图像类别为任一缺陷大类类别，则确定所述待检测烟盒图像对应的烟盒为缺陷大类烟盒，缺陷大类类别包括：褶皱、脱落、吐胶、叠角、缺失、小盒轧皱、轧破、外形不方正；若所述第二图像类别为正常类别，则确定所述待检测烟盒图像对应的烟盒为正常烟盒。
7.通过采用上述技术方案，在实时获取待检测烟盒图像后，提取待检测烟盒图像的图像特征，并将图像特征与预设通用缺陷特征进行匹配，以进行通用缺陷特征的快速筛选，得到待检测烟盒图像的第一图像类别，若第一图像类别是通用缺陷类别，将待检测烟盒图像标记为通用缺陷烟盒图像，若第一图像为其他类别，则将待检测烟盒图像输入到神经网
络模型进行第二图像类别识别，以确定待检测烟盒图像对应的烟盒为任一缺陷大类类别对应的缺陷大类烟盒还是正常烟盒，可见，先根据提取后的待检测烟盒图像的图像特征与预设的通用缺陷特征进行匹配以确定是否为特征明显的通用缺陷类别烟盒，占用计算机资源低，响应较快，当第一图像类别为其他类别时，才能够利用神经网络模型对待检测烟盒图像进行第二类别识别，得到第二图像类别，减少了输入到神经网络模型的待检测烟盒图像数量，提高检测效率。
8.在一种可能实现的方式中，在所述实时获取待检测烟盒图像之后，还包括：对所述待检测烟盒图像进行预处理，所述预处理的方式包括：定位校正和/或降噪处理；相应的，所述提取所述待检测烟盒图像的图像特征，包括：提取预处理后的待检测烟盒图像的图像特征。
9.通过采用上述技术方案，对待检测烟盒图像进行定位校正和/或降噪处理，能够去除待检测烟盒图像的部分干扰信息，保留待检测烟盒图像中的目标形状、大小以及特定的特征，使得待检测烟盒图像更加清晰精准，再将降噪后或校正后的待检测烟盒图像进行图像检测，能够提高检测结果的有效性以及准确率。
10.在一种可能实现的方式中，所述提取所述待检测烟盒图像的图像特征，包括：利用特征金字塔结构提取所述待检测烟盒图像的第一特征数据；利用sift（scale-invariant feature transform，尺度不变特征变换）提取所述待检测烟盒图像的第二特征数据；融合所述第一特征数据和所述第二特征数据，得到融合后数据，并利用roi（region of interest，感兴趣区域）对所述融合后数据进行筛选得到所述图像特征。
11.通过采用上述技术方案，利用特征金字塔结构与sift对带检测烟盒图像进行特征提取并融合，融合后的特征利用roi进行筛选，得到图像特征，与相关技术相比，不需要对图像进行反复卷积提取，提高了图像特征的提取速度。
12.在一种可能实现的方式中，所述神经网络模型的训练过程，包括：获取第一训练样本，其中所述第一训练样本包括多种烟盒图像样本以及各自对应的类别信息标签，所述类别信息标签包括正常类别标签和各缺陷大类类别标签；获取待训练神经网络模型；基于所述第一训练样本对所述待训练神经网络模型进行训练，得到所述神经网络模型。
13.通过采用上述技术方案，提供了一种神经网络模型的训练方法，与相关技术相比，能够基于第一训练样本对待训练神经网络模型进行训练，最终得到符合要求的神经网络模型，用于识别烟盒正常类别或各缺陷大类类别信息。
14.在一种可能实现的方式中，还包括：当所述待检测烟盒图像对应的烟盒为通用缺陷烟盒或缺陷大类烟盒时，将所述待检测烟盒图像对应的烟盒信息发送至控制台，以使控制台根据所述待检测烟盒图像对应的烟盒信息剔除对应的烟盒。
15.通过采用上述技术方案，在利用通用检测模型检测出烟盒通用缺陷类别，或，利用神经网络模型检测出烟盒缺陷大类类别时，将待检测烟盒图像对应的烟盒信息发送至控制
台，控制台根据待检测烟盒图像对应的烟盒信息确定烟盒位置，并剔除对应的烟盒，实现了自动化操作，提高了烟盒的生产效率。
16.在一种可能实现的方式中，在确定所述待检测烟盒图像对应的烟盒为缺陷大类烟盒之后，还包括：将所述待检测烟盒图像输入到预先训练好的缺陷信息识别神经网络模型中进行烟盒缺陷信息识别，得到包括缺陷信息的烟盒缺陷小类图像，其中，缺陷信息包括缺陷大类烟盒的具体缺陷位置、缺陷尺寸、缺陷大小；根据所述缺陷信息确定所述缺陷大类烟盒的缺陷等级，若所述缺陷等级为目标缺陷等级，则确定所述待检测烟盒图像对应的烟盒为正常烟盒。
17.通过采用上述技术方案，检测出具体的缺陷大类类别后，将缺陷大类图像输入到对应的缺陷信息识别神经网络模型中检测出缺陷小类，根据检测出的缺陷小类确定具体的缺陷等级，若缺陷等级为目标缺陷等级，则确定待检测烟盒图像对应的烟盒符合出厂标准，能够正常使用，提高了缺陷检测的召回率。
18.在一种可能实现的方式中，缺陷信息识别神经网络模型为融合神经网络模型，相应的，所述融合神经网络模型的训练过程，包括：获取第二训练样本，其中，所述第二训练样本包括多种缺陷小类图像以及各自对应的缺陷位置信息标签；获取待训练融合神经网络模型，其中，所述待训练融合神经网络模型包括：初始第一神经网络模型、初始第二神经网络模型及初始数据融合模块，所述初始第一神经网络模型和所述初始第二神经网络模型用以对输入的缺陷小类图像进行计算，得到各自对应的第一矩阵数列以及第二矩阵数列，所述初始数据融合模块用以将所述第一矩阵数列和所述第二矩阵数列进行融合；基于所述第二训练样本对所述待训练融合神经网络模型进行训练，得到所述融合神经网络模型。
19.通过采用上述技术方案，将第二训练样本输入到待训练融合神经网络模型进行训练，以得到融合神经网络模型，且，本技术方案采用的待训练融合神经网络模型包括：初始第一神经网络模型和初始第二神经网络模型以及融合模块，得到的矩阵数列更丰富，学习到的数据更加全面，得到的融合神经网络模型能够有效降低烟盒缺陷小类的漏检率，保证了烟盒缺陷小类检测的准确率。
20.第二方面，本技术提供一种烟盒缺陷检测装置，采用如下的技术方案：一种烟盒缺陷检测装置，包括：图像获取模块：用于实时获取待检测烟盒图像；第一图像类别获取模块：用于提取所述待检测烟盒图像的图像特征，并将所述图像特征与预设通用缺陷特征进行匹配，得到所述待检测烟盒图像的第一图像类别；第一确定模块：用于若所述第一图像类别为通用缺陷类别，则确定所述待检测烟盒图像对应的烟盒为通用缺陷烟盒；第二图像类别获取模块：用于若所述第一图像类别为其他类别，则将所述待检测烟盒图像输入到预先训练好的神经网络模型进行第二类别识别，得到第二图像类别；第二确定模块：用于若所述第二图像类别为任一缺陷大类类别，则确定所述待检
测烟盒图像对应的烟盒为缺陷大类烟盒，缺陷大类类别包括：褶皱、脱落、吐胶、叠角、缺失、小盒轧皱、轧破、外形不方正；第三确定模块：用于若所述第二图像类别为正常类别，则确定所述待检测烟盒图像对应的烟盒为正常烟盒。
21.通过采用上述技术方案，在实时获取待检测烟盒图像后，提取待检测烟盒图像的图像特征，并将图像特征与预设通用缺陷特征进行匹配，以进行通用缺陷特征的快速筛选，得到待检测烟盒图像的第一图像类别，若第一图像类别是通用缺陷类别，将待检测烟盒图像标记为通用缺陷烟盒图像，若第一图像为其他类别，则将待检测烟盒图像输入到神经网络模型进行第二图像类别识别，以确定待检测烟盒图像对应的烟盒为任一缺陷大类类别对应的缺陷大类烟盒还是正常烟盒，可见，本技术方案先根据提取后的待检测烟盒图像的图像特征与预设的通用缺陷特征进行匹配以确定是否为特征明显的通用缺陷类别烟盒，只有为其他类别时，才能够利用神经网络模型确定第二图像类别，能够减少输入到神经网络模型的待检测烟盒图像数量，提高检测效率。
22.第三方面，本技术提供一种电子设备，采用如下的技术方案：一种电子设备，该电子设备包括：至少一个处理器；存储器；至少一个应用程序，其中所述至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行上述烟盒缺陷检测方法。
23.第四方面，本技术提供一种计算机可读存储介质，采用如下的技术方案：一种计算机可读存储介质，包括：存储有能够被处理器加载并执行上述烟盒缺陷检测方法的计算机程序。
24.综上所述，本技术包括以下至少一种有益技术效果：1. 在实时获取待检测烟盒图像后，提取待检测烟盒图像的图像特征，并将图像特征与预设通用缺陷特征进行匹配，以进行通用缺陷特征的快速筛选，得到待检测烟盒图像的第一图像类别，若第一图像类别是通用缺陷类别，将待检测烟盒图像标记为通用缺陷烟盒图像，若第一图像为其他类别，则将待检测烟盒图像输入到神经网络模型进行第二图像类别识别，以确定待检测烟盒图像对应的烟盒为任一缺陷大类类别对应的缺陷大类烟盒还是正常烟盒，可见，先根据提取后的待检测烟盒图像的图像特征与预设的通用缺陷特征进行匹配以确定是否为特征明显的通用缺陷类别烟盒，占用计算机资源低，响应较快，当第一图像类别为其他类别时，才能够利用神经网络模型对待检测烟盒图像进行第二类别识别，得到第二图像类别，减少了输入到神经网络模型的待检测烟盒图像数量，提高检测效率。
附图说明
25.图1是本技术实施例提供的一种烟盒缺陷检测方法的流程示意图；图2是本技术实施例提供的一种烟盒缺陷检测装置的结构示意图；图3是本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
26.以下结合附图1-附图3对本技术作进一步详细说明。
27.本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本技术实施例的范围内都受到专利法的保护。
28.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
29.另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
30.相关技术中，对包装工艺进行质量检测时一般采用计算机视觉对烟盒的图像进行缺陷检测。针对上述的相关技术，发明人发现，由于计算机视觉技术中使用神经网络模型，对烟盒缺陷特征进行提取时，需要进行多次卷积，检测速度较慢，检测效率低。
31.为了解决上述技术问题，本技术实施例提供了一种烟盒缺陷检测方法，先根据提取后的待检测烟盒图像的图像特征与预设的通用缺陷特征进行匹配以确定是否为特征明显的通用缺陷类别烟盒，占用计算机资源低，响应较快，当第一图像类别为其他类别时，才能够利用神经网络模型对待检测烟盒图像进行第二类别识别，得到第二图像类别，减少了输入到神经网络模型的待检测烟盒图像数量，提高检测效率。
32.具体地，本技术实施例提供了一种烟盒缺陷检测方法，由电子设备执行，该电子设备可以为服务器也可以为终端设备，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此，该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术实施例在此不做限制。
33.结合图1，图1是本技术实施例提供一种烟盒缺陷检测方法的流程示意图，其中，该方法包括步骤s100、步骤s101、步骤s102、步骤s103、步骤s104、步骤s105，其中：步骤s100，实时获取待检测烟盒图像。
34.其中，在接收到检测请求后，执行烟盒缺陷检测流程，具体地，电子设备中预先集成有监视程序，监视程序用于对检测请求的触发行为进行监视，一旦监视到检测请求被触发了，则执行烟盒缺陷检测流程。具体来说，当用户确定检测后，会自动生成检测指令，其中，确认检测的方式可以包括，用户在应用程序上点击检测按钮的方式确认检测、用户通过语音的方式确认检测，当电子设备检测到用户触发检测请求后，电子设备执行烟盒缺陷检测流程。
35.具体地，本技术实施例提供的图像缺陷检测方法可以应用在烟盒生产线，预先在烟盒生产线的待检测区域设置一个或多个用于采集烟盒图像的摄像装置，以得到摄像装置实时采集的待检测烟盒图像。其中，摄像装置可以为ccd（charge-coupled device电荷耦合器件）相机，以得到高分辨率的待检测烟盒图像，待检测区域可以是用户根据实际需求选择的区域，还可以是用户根据经验设置的。
36.步骤s101，提取待检测烟盒图像的图像特征，并将图像特征与预设通用缺陷特征进行匹配，得到待检测烟盒图像的第一图像类别。
37.其中，在提取到图像特征后，将图像特征与预设通用缺陷特征进行匹配，以确定待检测烟盒的类别是通用缺陷类别还是其他类别，具体的，只要匹配到烟盒存在封签污、破损、擦伤中的任意一种或者多种时，则待检测烟盒图像的第一图像类别为通用缺陷类别，否则，待检测烟盒图像的第一图像类别为其他类别。
38.进一步的，还可以包括：获取多个通用缺陷的烟盒图像，提取多个通用缺陷的烟盒图像的标准特征，将多个标准特征作为预设通用缺陷特征，且，还可以定期更新预设通用缺陷特征。
39.步骤s102，若第一图像类别为通用缺陷类别，则确定待检测烟盒图像对应的烟盒为通用缺陷烟盒。
40.具体地，当第一图像类别为通用缺陷类别时，表明待检测烟盒图像对应的烟盒为通用缺陷烟盒，烟盒质量检测不通过，不需要进行进一步的检测。可以理解的是，在常规烟盒质量检测过程中，常见缺陷为通用缺陷烟盒，本实施例先利用通用缺陷检测模型对待检测烟盒图像进行初步筛选，能够剔除通用缺陷的烟盒图像，减少输入到神经网络模型的待检测烟盒图像数量，在面对大量烟盒缺陷检测的情况下，能够提高检测速度。
41.步骤s103，若第一图像类别为其他类别，则将待检测烟盒图像输入到预先训练好的神经网络模型进行第二类别识别，得到第二图像类别。
42.其中，神经网络模型为基于多个烟盒图像以及各自对应的第一类别信息标签进行训练后得到的，其中，第一类别信息标签包括正常类别信息、各缺陷大类类别信息，其中，各缺陷大类类别信息至少包括：褶皱、脱落、吐胶、叠角、缺失、小盒轧皱、轧破、外形不方正中的任意一种信息。
43.在本技术实施例中，神经网络模型可以为vgg（visual geometry group，超分辨率测试序列）神经网络模型，vgg神经网络模型包括卷积层、池化层及全连接层，在进行待检测烟盒图像的检测时，将待检测烟盒图像输入到vgg神经网络中，具体的，经过卷积层提取特征得到特征向量；将特征向量输入池化层进行特征计算得到计算结果；将计算结果输入到全连接层进行分类和图像回归输出第二图像类别。可以理解的是，神经网络模型进行第二类别识别时，能够识别到的类别包括：正常类别和各缺陷大类类别。
44.步骤s104，若第二图像类别为任一缺陷大类类别，则确定待检测烟盒图像对应的烟盒为缺陷大类烟盒，缺陷大类类别包括：褶皱、脱落、吐胶、叠角、缺失、小盒轧皱、轧破、外形不方正。
45.步骤s105，若第二图像类别为正常类别，则确定待检测烟盒图像对应的烟盒为正常烟盒。
46.具体地，当待第二图像类别为正常类别时，则确定待检测烟盒图像对应的烟盒为正常烟盒，通过烟盒质量检测；当第二图像类别为缺陷大类类别中的任意一种时，确定待检测烟盒图像对应的烟盒为缺陷大类烟盒，也即烟盒质量检测未通过。
47.基于上述实施例，在实时获取待检测烟盒图像后，提取待检测烟盒图像的图像特征，并将图像特征与预设通用缺陷特征进行匹配，以进行通用缺陷特征的快速筛选，得到待检测烟盒图像的第一图像类别，若第一图像类别是通用缺陷类别，将待检测烟盒图像标记
pattern,局部二值模式)算法提取待检测烟盒图像的图像特征。
55.进一步的，本技术实施例提供了一种神经网络模型的训练方法，可以包括步骤s10（附图未示出）、步骤s20（附图未示出）、步骤s30（附图未示出），其中：s10，获取第一训练样本，其中第一训练样本包括多种烟盒图像样本以及各自对应的类别信息标签，类别信息标签包括正常类别标签和各缺陷大类类别标签。
56.具体地，通过网络爬虫和/或生产线摄像装置拍摄获取多种烟盒图像样本，类别信息标签可以是基于人工方式还可以是机器自动方式，例如，可以利用图像标注工具将烟盒图像样本中的烟盒缺陷大类类别信息标注出来，以得到每一烟盒图像样本对应的烟盒类别信息标签，类别信息标签各自对应的各缺陷大类类别标签、正常类别标签。其中，各缺陷大类类别标签包括褶皱、脱落、吐胶、叠角、缺失、小盒轧皱、轧破、外形不方、正类别标签。
57.步骤s20，获取待训练神经网络模型。
58.其中，待训练神经网络模型可以为vgg神经网络模型，可以包括：卷积层，池化层，全连接层。
59.步骤s30，基于第一训练样本对待训练神经网络模型进行训练，得到神经网络模型。
60.具体的，将各个烟盒图像样本输入待训练神经网络模型，得到第一待比较类别；基于第一待比较类别和对应的类别信息标签，确定第一损失值；根据第一损失值确定当前待训练神经网络模型是否收敛；若是，则将当前的待训练神经网络模型确定为神经网络模型；若否，则将第一损失值通过反向传播更新权重参数，并对更新权重参数后的待训练神经网络模型进行迭代训练，直至当前的待训练神经网络模型收敛，以将收敛的待训练神经网络模型确定为神经网络模型。
61.综上，本技术实施例提供了一种神经网络模型的训练方法，与相关技术相比，本技术实施例能够基于第一训练样本对待训练神经网络模型进行训练，最终得到符合要求的神经网络模型，用于识别烟盒正常类别或各缺陷大类类别信息。
62.进一步的，在本技术实施例中，为了实现自动化操作，提高烟盒的生产效率，还包括：当待检测烟盒图像对应的烟盒为通用缺陷烟盒或缺陷大类烟盒时，将待检测烟盒图像对应的烟盒信息发送至控制台，以使控制台根据待检测烟盒图像对应的烟盒信息剔除对应的烟盒。
63.其中，待检测烟盒图像对应的烟盒信息可以是对应的烟盒编号信息和/或烟盒在图像中的位置信息。具体地，在利用通用检测模型检测出烟盒通用缺陷类别，或，利用神经网络模型检测出烟盒缺陷大类类别则将待检测烟盒图像对应的烟盒信息发送至控制台，控制台根据待检测烟盒图像对应的烟盒信息确定烟盒位置，并控制剔除工具剔除对应的烟盒，实现了自动化操作，提高了烟盒的生产效率。
64.进一步的，在确定待检测烟盒图像对应的烟盒为缺陷大类烟盒之后，还包括：将待检测烟盒图像输入到预先训练好的缺陷信息识别神经网络模型中进行烟盒缺陷信息识别，得到包括缺陷信息的烟盒缺陷小类图像，其中，缺陷信息包括缺陷大类烟盒的具体缺陷位置、缺陷尺寸、缺陷大小；根据缺陷信息确定缺陷大类烟盒的缺陷等级，若缺陷等级为目标缺陷等级，则确
定待检测烟盒图像对应的烟盒为正常烟盒。
65.其中，缺陷信息识别神经网络模型用于识别烟盒缺陷信息，以得到包括缺陷信息的烟盒缺陷小类图像。本技术实施例不对缺陷信息识别神经网络模型能进行限定，用户可根据实际需求设置，只要是能实现本实施例的目的即可，例如缺陷信息识别神经网络模型可以为融合神经网络模型，具体可以包括：训练好的第一神经网络模型、第二神经网络模型及数据融合模块，其中，数据融合模块分别与第一神经网络模型、第二神经网络模型连接，且，待检测烟盒图像作为第一神经网络模型、第二神经网络模型的输入信息。具体的，第一神经网络模型、第二神经网络模型可以分别为fast rcnn（fast region-convolutional neural networks）神经网络模型、faster rcnn（faster region-convolutional neural networks）神经网络模型。具体的，将待检测烟盒图像输入到缺陷信息识别神经网络模型中，依次经过第一神经网络模型与第二神经网络模型的建议框特征提取、池化，得到各自对应的第一矩阵数列和第二矩阵数列；利用数据融合模块将第一矩阵数列和第二矩阵数列进行融合；将经过融合后的数据矩阵利用bounding box（边框）回归；对边框回归后的矩阵数列使用非极大值抑制方法选取少数框；根据得到的少数框对待检测烟盒图像进行标注，映射回待检测烟盒图像，得到包括缺陷信息的烟盒缺陷小类图像。可以理解的是，利用fast rcnn神经网络模型、faster rcnn神经网络模型及数据融合模块比利用fast rcnn神经网络模型或faster rcnn神经网络模型检测的缺陷小类结果更精准，能够缺陷检测的召回率。
66.再如，缺陷信息识别神经网络模型为fast rcnn或faster rcnn。具体的，利用fast rcnn或faster rcnn的建议框特征提取、池化得到矩阵数据，然后利用全连接层进行识别，最终输出包括缺陷信息的烟盒缺陷小类图像。
67.可以理解的是，按照生产缺陷等级存在一定的生产标准，缺陷分为不同等级的缺陷，如x、a、b、c、d等级缺陷，一般来说x等缺陷或a等缺陷可以被容忍，可以认定为正常。因此，本技术实施例中，在得到缺陷信息后，根据缺陷信息的缺陷位置、缺陷尺寸以及缺陷大小与预存的缺陷信息与缺陷等级的对应关系进行匹配，以得到缺陷信息对应的缺陷等级。当缺陷等级为目标等级时，确定该烟盒的缺陷是可容忍的缺陷，将该烟盒作为正常烟盒。
68.其中，缺陷信息与缺陷等级的对应关系用户可根据实际情况预先测量并存储，或者根据经验设置，且，目标等级用户也可根据实际需求选择，只要是能够实现本实施例的目的即可。
69.具体地，检测出具体的缺陷大类类别后，将缺陷大类图像输入到对应的缺陷信息识别神经网络模型中检测出缺陷小类，根据检测出的缺陷小类与工业生产缺陷等级评定标准确定具体的缺陷等级，将符合要求的缺陷小类对应的烟盒正常使用，提高了缺陷检测的召回率。
70.进一步的，缺陷信息识别神经网络模型为融合神经网络模型，相应的，融合神经网络模型的训练过程，可以包括步骤s40（附图未示出）、步骤s50（附图未示出）、步骤s60（附图未示出），其中：步骤s40，获取第二训练样本，其中，第二训练样本包括多种缺陷小类图像以及各自对应的缺陷位置信息标签。
71.具体地，通过网络爬虫和/或生产线摄像机拍摄获取众多烟盒缺陷小类图像，信息标签可以是基于人工方式还可以是机器自动方式，例如，可以利用图像标注工具将烟盒图
像中的烟盒缺陷小类信息标注出来，以得到每一烟盒样本图像对应的缺陷位置信息标签。
72.步骤s50，获取待训练融合神经网络模型，其中，待训练融合神经网络模型包括：初始第一神经网络模型、初始第二神经网络模型及初始数据融合模块，初始第一神经网络模型和初始第二神经网络模型用以对输入的缺陷小类图像进行计算，得到各自对应的第一矩阵数列以及第二矩阵数列，初始数据融合模块用以将第一矩阵数列和第二矩阵数列进行融合；步骤s60，基于第二训练样本对待训练融合神经网络模型进行训练，得到融合神经网络模型。
73.初始第一神经网络模型和初始第二神经网络模型用以对输入图像进行计算，得到各自对应的第一训练矩阵数列以及第二训练矩阵数列，初始数据融合模块用以将第一训练矩阵数列和第二训练矩阵数列进行融合。
74.具体的，初始第一神经网络模型、初始第二神经网络模型可以分别为fast rcnn神经网络模型、faster rcnn神经网络模型。其中，fast rcnn 神经网络模型包括卷积层和池化层。
75.其中，当初始第一神经网络模型为fast rcnn时，将第二训练样本输入到fast rcnn进行烟盒缺陷信息的训练，具体包括：使用selective search（选择性搜索）选取建议框；将待检测烟盒图像输入卷积层中得到特征图；使用建议框对特征图提取特征框。具体的，使用建议框对特征图提取特征框具体可以是从特征图中找出每一个建议框对应的位置，截取出特征框，此时深度保持不变。可以理解的是，rcnn选取的建议框重合部分较多，卷积重复计算严重，本技术实施例采用fast rcnn对待检测烟盒的每个位置进行了一次卷积，减少了卷积次数，减少了计算量。
76.将提取的特征框输入roi池化层，以将大小不一的建议框转化为相同大小的特征框，经过池化后的特征框转化为第一训练矩阵数列。具体的，将每个特征框划分为h
×
w个网格，在每个网格内进行池化以得到每个网格内取最大值最终得到第一训练矩阵数列。faster rcnn神经网络模型与fast rcnn神经网络模型不同的地方在于选取建议框的方法不同，faster rcnn使用rpn（region proposal network，地区建议网络），rpn将图像特征映射作为输入，生成一系列object proposals（目标建议框）。
77.当初始第二神经网络模型为faster rcnn时，将第二训练样本输入到初始第二神经网络模型，具体地，通过初始第二神经网络模型的卷积层进行第二训练样本的特征提取得到特征图；利用rpn将第二训练样本特征映射作为输入，生成一系列的建议框；将建议框映射到卷积层的最后一层卷积特征图上，将提取的特征框输入roi池化层，以将大小不一的建议框转化为相同大小的特征框，经过池化后的特征框转化为第二训练矩阵数列。
78.将fast rcnn神经网络模型与faster rcnn神经网络模型各自在池化层得到的后的第一训练矩阵数列和第二训练矩阵数列利用融合模块进行融合整理，最后将融合整理后的矩阵数列利用bounding box（边框）回归，对边框回归后的矩阵数列使用非极大值抑制方法选取少数框，根据得到的少数框对第二训练样本进行标注，最后映射回各自的原图得到包括缺陷信息的烟盒缺陷小类图像。
79.进而，基于包括缺陷信息的烟盒缺陷小类图像和对应的缺陷位置信息标签，确定第二损失值；根据第二损失值确定当前待训练融合神经网络检测模型是否收敛，若是，则将
当前的待训练融合神经网络检测模型确定为融合神经网络检测模型；若否，则迭代训练直至当前待训练融合神经网络检测模型收敛。具体的，第二损失值的算法可以是:mse：均方误差（mean square error）、rmse：均方根误差（root mean square error）、mae：平均绝对误差（mean absolute error）、mape：平均绝对百分比误差（mean absolute percentage error）中的任意一种。
80.具体地，本技术实施例采用的缺陷信息识别神经网络模型是将第二训练样本分别输入到初始第一神经网络模型和初始第二神经网络模型，将各自经过roi池化层得到的第一矩阵数列和第二矩阵数列进行融合，将融合后的矩阵数据输入到全连接层，得到具体的缺陷小类，利用融合模型能够有效降低烟盒缺陷的漏检率，提高了缺陷小类的检测准确率。
81.在另一种可能的方式，缺陷信息识别神经网络模型为fast rcnn神经网络模型。
82.具体地，使用selective search（选择性搜索）选取建议框；将待检测烟盒图像输入卷积层中得到特征图；使用建议框对特征图提取特征框，将提取的特征框输入roi池化层，以将大小不一的建议框转化为相同大小的特征框，经过池化后的特征框转化为第一训练矩阵数列，对第一矩阵数列进行分类计算，得到分类计算后的第一矩阵数列，最后映射回缺陷小类图像，确定缺陷小类。
83.在另一种可能的方式，缺陷信息识别神经网络模型为faster rcnn神经网络模型。
84.具体地，使用rpn（region proposal network，地区建议网络）选取rpn建议框；将待检测烟盒图像输入卷积层中得到特征图；使用rpn建议框对特征图提取特征框，将提取的特征框输入roi池化层，以将大小不一的建议框转化为相同大小的特征框，经过池化后的特征框转化为第二训练矩阵数列，对第二矩阵数列进行分类计算，得到分类计算后的第二矩阵数列，最后映射回缺陷小类图像，确定缺陷小类。
85.下面对本技术实施例提供的一种烟盒缺陷检测装置进行介绍，下文描述的烟盒缺陷检测装置与上文描述的烟盒缺陷检测方法可相互对应参照，本技术实施例的烟盒缺陷检测装置设置在电子设备中。
86.请参考图2，图2是本技术实施例提供的一种烟盒缺陷检测装置的结构示意图，包括：图像获取模块210：用于实时获取待检测烟盒图像；第一图像类别获取模块220：用于提取待检测烟盒图像的图像特征，并将图像特征与预设通用缺陷特征进行匹配，得到待检测烟盒图像的第一图像类别；第一确定模块230：用于若第一图像类别为通用缺陷类别，则确定待检测烟盒图像对应的烟盒为通用缺陷烟盒；第二图像类别获取模块240：用于若第一图像类别为其他类别，则将待检测烟盒图像输入到预先训练好的神经网络模型进行第二类别识别，得到第二图像类别；第二确定模块250：用于若第二图像类别为任一缺陷大类类别，则确定待检测烟盒图像对应的烟盒为缺陷大类烟盒，缺陷大类类别包括：褶皱、脱落、吐胶、叠角、缺失、小盒轧皱、轧破、外形不方正；第三确定模块260：用于若第二图像类别为正常类别，则确定待检测烟盒图像对应的烟盒为正常烟盒。
87.本技术实施例的一种可能的实现方式，还包括：
图像预处理模块：用于对待检测烟盒图像进行预处理，预处理的方式包括：定位校正和/或降噪处理；相应的，第一图像类别获取模块220在执行提取待检测烟盒图像的图像特征时，具体用于：提取预处理后的待检测烟盒图像的图像特征。
88.本技术实施例的一种可能的实现方式，第一图像类别获取模块220在执行提取待检测烟盒图像的图像特征时，具体用于：利用特征金字塔结构提取待检测烟盒图像的第一特征数据；利用sift提取待检测烟盒图像的第二特征数据；融合第一特征数据和第二特征数据，得到融合后数据，并利用roi对融合后数据进行筛选得到图像特征。
89.本技术实施例的一种可能的实现方式，还包括：神经网络模型训练模块，用于：获取第一训练样本，其中第一训练样本包括多种烟盒图像样本以及各自对应的类别信息标签，类别信息标签包括正常类别标签和各缺陷大类类别标签；获取待训练神经网络模型；基于第一训练样本对待训练神经网络模型进行训练，得到神经网络模型。
90.本技术实施例的一种可能的实现方式，还包括：缺陷烟盒处理模块：用于当待检测烟盒图像对应的烟盒为通用缺陷烟盒或缺陷大类烟盒时，将待检测烟盒图像对应的烟盒信息发送至控制台，以使控制台根据待检测烟盒图像对应的烟盒信息剔除对应的烟盒。
91.本技术实施例的一种可能的实现方式，还包括：烟盒缺陷小类图像获取模块：用于将待检测烟盒图像输入到预先训练好的缺陷信息识别神经网络模型中进行烟盒缺陷信息识别，得到包括缺陷信息的烟盒缺陷小类图像，其中，缺陷信息包括缺陷大类烟盒的具体缺陷位置、缺陷尺寸、缺陷大小；第四确定模块，用于根据缺陷信息确定缺陷大类烟盒的缺陷等级，若缺陷等级为目标缺陷等级，则确定待检测烟盒图像对应的烟盒为正常烟盒。
92.本技术实施例的一种可能的实现方式，还包括：缺陷信息识别神经网络模型训练模块，用于：获取第二训练样本，其中，第二训练样本包括多种缺陷小类图像以及各自对应的缺陷位置信息标签；获取待训练融合神经网络模型，其中，待训练融合神经网络模型包括：初始第一神经网络模型、初始第二神经网络模型及初始数据融合模块，初始第一神经网络模型和初始第二神经网络模型用以对输入的缺陷小类图像进行计算，得到各自对应的第一矩阵数列以及第二矩阵数列，初始数据融合模块用以将第一矩阵数列和第二矩阵数列进行融合；基于第二训练样本对待训练融合神经网络模型进行训练，得到融合神经网络模型。
93.下面对本技术实施例提供的一种电子设备进行介绍，下文描述的电子设备与上文描述的烟盒缺陷检测方法可相互对应参照。
94.本技术实施例中提供了一种电子设备，如图3所示，图3是本技术实施例提供的一
种电子设备的结构示意图，图3所示的电子设备300包括：处理器301和存储器303。其中，处理器301和存储器303相连，如通过总线302相连。可选地，电子设备300还可以包括收发器304。需要说明的是，实际应用中收发器304不限于一个，该电子设备300的结构并不构成对本技术实施例的限定。
95.处理器301可以是cpu（centralprocessingunit，中央处理器），通用处理器，dsp（digitalsignalprocessor，数据信号处理器），asic（applicationspecificintegratedcircuit，专用集成电路），fpga（fieldprogrammablegatearray，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术实施例公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器301也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。
96.总线302可包括一通路，在上述组件之间传送信息。总线302可以是pci（peripheralcomponentinterconnect，外设部件互连标准）总线或eisa（extendedindustrystandardarchitecture，扩展工业标准结构）总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
97.存储器303可以是rom（readonlymemory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，ram（randomaccessmemory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是eeprom（electricallyerasableprogrammablereadonlymemory，电可擦可编程只读存储器）、cd-rom（compactdiscreadonlymemory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
98.存储器303用于存储执行本技术实施例方案的应用程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码，以实现前述方法实施例所示的内容。
99.其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、pda（个人数字助理）、pad（平板电脑）、pmp（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
100.下面对本技术实施例提供的一种烟盒缺陷检测的系统进行介绍，下文描述的烟盒缺陷检测的系统与上文描述的烟盒缺陷检测方法可相互对应参照。
101.本技术实施例提供了一种烟盒缺陷检测的系统，包括：摄像装置，用于采集待检测烟盒图像；电子设备：包括存储器和处理器，存储器上存储有能够被处理器加载并执行如上一种盒缺陷检测的方法的计算机程序。
102.其中，处理器中可实现待检测烟盒图像的读取，利用通用缺陷检测模型对通用缺陷检测模型的图像预处理，以及利用神经网络模型对神经网络模型的图像识别。
103.本技术实施例的另一种可能的实现方式，烟盒缺陷检测的系统还包括：光学镜头：用于拍摄待检测烟盒图像并成像；
光源：用于提高光学镜头成像的效果和稳定性；频闪器：用于提高拍摄待检测烟盒图像的准确率；传送装置：用于烟盒的运输；剔除装置：用于将利用烟盒缺陷检测方法检测到的非正常烟盒进行剔除。
104.为了保证摄像装置和光源的及时响应，本技术实施例还可以包括高精度光纤位置传感器，当烟盒经过时，该传感器触发信号，启动摄像装置和光源对图像信号进行捕捉。
105.下面对本技术实施例提供的一种计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的方法可相互对应参照。
106.本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上烟盒缺陷检测方法的步骤。与相关技术相比，本技术实施例中，在实时获取待检测烟盒图像后，提取待检测烟盒图像的图像特征，并将图像特征与预设通用缺陷特征进行匹配，以进行通用缺陷特征的快速筛选，得到待检测烟盒图像的第一图像类别，若第一图像类别是通用缺陷类别，将待检测烟盒图像标记为通用缺陷烟盒图像，若第一图像为其他类别，则将待检测烟盒图像输入到神经网络模型进行第二图像类别识别，以确定待检测烟盒图像对应的烟盒为任一缺陷大类类别对应的缺陷大类烟盒还是正常烟盒，可见，先根据提取后的待检测烟盒图像的图像特征与预设的通用缺陷特征进行匹配以确定是否为特征明显的通用缺陷类别烟盒，占用计算机资源低，响应较快，当第一图像类别为其他类别时，才能够利用神经网络模型对待检测烟盒图像进行第二类别识别，得到第二图像类别，减少了输入到神经网络模型的待检测烟盒图像数量，提高检测效率。
107.由于计算机可读存储介质部分的实施例与方法部分的实施例相互对应，因此计算机可读存储介质部分的实施例请参见方法部分的实施例的描述。
108.应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
109.以上仅是本技术的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。
技术特征：1.一种烟盒缺陷检测方法，其特征在于，包括：实时获取待检测烟盒图像；提取所述待检测烟盒图像的图像特征，并将所述图像特征与预设通用缺陷特征进行匹配，得到所述待检测烟盒图像的第一图像类别；若所述第一图像类别为通用缺陷类别，则确定所述待检测烟盒图像对应的烟盒为通用缺陷烟盒；若所述第一图像类别为其他类别，则将所述待检测烟盒图像输入到预先训练好的神经网络模型进行第二类别识别，得到第二图像类别；若所述第二图像类别为任一缺陷大类类别，则确定所述待检测烟盒图像对应的烟盒为缺陷大类烟盒，缺陷大类类别包括：褶皱、脱落、吐胶、叠角、缺失、小盒轧皱、轧破、外形不方正；若所述第二图像类别为正常类别，则确定所述待检测烟盒图像对应的烟盒为正常烟盒。2.根据权利要求1所述的烟盒缺陷检测方法，其特征在于，在所述实时获取待检测烟盒图像之后，还包括：对所述待检测烟盒图像进行预处理，所述预处理的方式包括：定位校正和/或降噪处理；相应的，所述提取所述待检测烟盒图像的图像特征，包括：提取预处理后的待检测烟盒图像的图像特征。3.根据权利要求1所述的烟盒缺陷检测方法，其特征在于，所述提取所述待检测烟盒图像的图像特征，包括：利用特征金字塔结构提取所述待检测烟盒图像的第一特征数据；利用sift提取所述待检测烟盒图像的第二特征数据；融合所述第一特征数据和所述第二特征数据，得到融合后数据，并利用roi对所述融合后数据进行筛选得到所述图像特征。4.根据权利要求1所述的烟盒缺陷检测方法，其特征在于，所述神经网络模型的训练过程包括：获取第一训练样本，其中所述第一训练样本包括多种烟盒图像样本以及各自对应的类别信息标签，所述类别信息标签包括正常类别标签和各缺陷大类类别标签；获取待训练神经网络模型；基于所述第一训练样本对所述待训练神经网络模型进行训练，得到所述神经网络模型。5.根据权利要求1所述的烟盒缺陷检测方法，其特征在于，还包括：当所述待检测烟盒图像对应的烟盒为通用缺陷烟盒或缺陷大类烟盒时，将所述待检测烟盒图像对应的烟盒信息发送至控制台，以使控制台根据所述待检测烟盒图像对应的烟盒信息剔除对应的烟盒。6.根据权利要求1至5任一项所述的烟盒缺陷检测方法，其特征在于，在确定所述待检测烟盒图像对应的烟盒为缺陷大类烟盒之后，还包括：将所述待检测烟盒图像输入到预先训练好的缺陷信息识别神经网络模型中进行烟盒
缺陷信息识别，得到包括缺陷信息的烟盒缺陷小类图像，其中，缺陷信息包括缺陷大类烟盒的具体缺陷位置、缺陷尺寸、缺陷大小；根据所述缺陷信息确定所述缺陷大类烟盒的缺陷等级，若所述缺陷等级为目标缺陷等级，则确定所述待检测烟盒图像对应的烟盒为正常烟盒。7.根据权利要求6所述的烟盒缺陷检测方法，其特征在于，缺陷信息识别神经网络模型为融合神经网络模型，相应的，所述融合神经网络模型的训练过程，包括：获取第二训练样本，其中，所述第二训练样本包括多种缺陷小类图像以及各自对应的缺陷位置信息标签；获取待训练融合神经网络模型，其中，所述待训练融合神经网络模型包括：初始第一神经网络模型、初始第二神经网络模型及初始数据融合模块，所述初始第一神经网络模型和所述初始第二神经网络模型用以对输入的缺陷小类图像进行计算，得到各自对应的第一矩阵数列以及第二矩阵数列，所述初始数据融合模块用以将所述第一矩阵数列和所述第二矩阵数列进行融合；基于所述第二训练样本对所述待训练融合神经网络模型进行训练，得到所述融合神经网络模型。8.一种烟盒缺陷检测的装置，其特征在于，所述装置包括：图像获取模块：用于实时获取待检测烟盒图像；第一图像类别获取模块：用于提取所述待检测烟盒图像的图像特征，并将所述图像特征与预设通用缺陷特征进行匹配，得到所述待检测烟盒图像的第一图像类别；第一确定模块：用于若所述第一图像类别为通用缺陷类别，则确定所述待检测烟盒图像对应的烟盒为通用缺陷烟盒；第二图像类别获取模块：用于若所述第一图像类别为其他类别，则将所述待检测烟盒图像输入到预先训练好的神经网络模型进行第二类别识别，得到第二图像类别；第二确定模块：用于若所述第二图像类别为任一缺陷大类类别，则确定所述待检测烟盒图像对应的烟盒为缺陷大类烟盒，缺陷大类类别包括：褶皱、脱落、吐胶、叠角、缺失、小盒轧皱、轧破、外形不方正；第三确定模块：用于若所述第二图像类别为正常类别，则确定所述待检测烟盒图像对应的烟盒为正常烟盒。9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。10.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。
技术总结本申请涉及烟盒缺陷检测领域，尤其是涉及一种烟盒缺陷检测方法、装置、设备及介质，该方法包括：实时获取待检测烟盒图像；提取待检测烟盒图像的图像特征，并将图像特征与预设通用缺陷特征进行匹配，得到待检测烟盒图像的第一图像类别；若第一图像类别为通用缺陷类别，则确定待检测烟盒图像对应的烟盒为通用缺陷烟盒；若第一图像类别为其他类别，则将待检测烟盒图像输入到预先训练好的神经网络模型进行第二类别识别，得到第二图像类别；若第二图像类别为任一缺陷大类类别，则确定待检测烟盒图像对应的烟盒为缺陷大类烟盒；若第二图像类别为正常类别，则确定待检测烟盒图像对应的烟盒为正常烟盒。本申请能够提高烟盒缺陷检测效率。率。率。
技术研发人员：李小龙 黄银祥 徐永虎
受保护的技术使用者：北京远舢智能科技有限公司
技术研发日：2022.03.28
技术公布日：2022/7/5
