本发明涉及图像处理，尤其涉及一种面向装备离散制造的焊缝图像多类别分类方法。
背景技术：
1、离散制造是指通过组装和加工来生产个体化产品的制造方式。在离散制造过程中，为了将不同的金属部件连接在一起，焊接是一种常用的方法。通过焊接，可以实现部件之间的牢固连接。焊接可以连接不同类型的金属，这在制造多材料结构时非常有用。
2、在焊接过程，焊缝可能存在气孔、裂纹、未熔合、夹渣等缺陷，这些缺陷会影响焊接接头的质量和结构的完整性。而焊缝的质量控制尤其复杂，需要依赖各种无损检测技术来确保焊缝没有缺陷。现有焊缝无损检测技术中，通常使用超声波检测、射线检测、磁粉检测等，而现有检测技术对操作人员的技术、焊缝表面状态和检测材料的要求非常高，且许多检测技术的观察评定仍依赖于人工视觉，自动化程度不高且对缺陷的检测能力有限。
技术实现思路
1、鉴于上述的分析，本发明实施例旨在提供一种面向装备离散制造的焊缝图像多类别分类方法，用以解决现有焊缝检测过程中的检测方式难以保证焊缝检测的质量以及焊缝缺陷类别识别不准确的问题。
2、本发明的目的主要是通过以下技术方案实现的：
3、本发明提供了一种面向装备离散制造的焊缝图像多类别分类方法，包括如下步骤：
4、获取焊缝样本图像并对其中的焊缝缺陷类别进行标注构建训练数据集；
5、基于所述训练数据集训练焊缝图像分类识别模型，得到训练好的焊缝图像分类识别模型；其中，所述焊缝图像分类识别模型包括基础特征提取模块、目标级注意力网络和跨模态长短期记忆网络；加载所述训练数据集的焊缝样本图像至所述基础特征提取模块中，再经所述目标级注意力网络得到精细焊缝视觉特征；所述精细焊缝视觉特征通过softmax层获得若干显著类别的语义标签文本后与所述精细焊缝视觉特征进行跨模态对齐得到对齐的标签文本向量；加载所述训练数据集的焊缝缺陷类别标注和所述标签文本向量至所述跨模态长短期记忆网络，训练所述焊缝图像分类识别模型；
6、利用训练好的焊缝图像分类识别模型对焊缝底片进行识别，得到所述焊缝底片中的焊缝缺陷类别。
7、进一步的，所述基础特征提取模块使用resnet-50模型，用于提取焊缝样本图像的基础特征得到焊缝初始视觉特征。
8、进一步的，所述目标级注意力网络包括特征增强注意力模块和特征融合模块；
9、所述焊缝初始视觉特征通过所述特征增强注意力模块，得到视觉特征的注意力掩模；
10、所述视觉特征的注意力掩模和所述焊缝初始视觉特征在所述特征融合模块进行特征融合，得到精细焊缝视觉特征。
11、进一步的，所述焊缝初始视觉特征通过所述特征增强注意力模块，得到视觉特征的注意力掩模，包括：
12、所述焊缝初始视觉特征分别通过两个相同的卷积层，得到第一焊缝视觉特征和第二焊缝视觉特征；
13、对所述第一焊缝视觉特征依次进行矩阵展开变形操作和矩阵转置操作，将所述第一焊缝视觉特征由三维变换至二维并转置后得到第一变换视觉特征；
14、对所述第二焊缝视觉特征进行矩阵展开变形操作，将所述第二焊缝视觉特征由三维变换至二维得到第二变换视觉特征；
15、将所述第一变换视觉特征和所述第二变换视觉特征进行矩阵相乘后逐行通过softmax函数得到视觉特征的注意力掩模。
16、进一步的，所述视觉特征的注意力掩模和所述焊缝初始视觉特征在所述特征融合模块进行特征融合，得到精细焊缝视觉特征，包括：
17、对所述焊缝初始视觉特征进行矩阵展开变形操作，将所述焊缝初始视觉特征由三维变换至二维得到变换初始视觉特征；
18、将所述视觉特征的注意力掩模进行矩阵转置操作后与所述变换初始视觉特征进行矩阵乘法，再经过矩阵升维变形操作，由二维变换至三维得到增强视觉特征；
19、将所述增强视觉特征和所述焊缝初始视觉特征进行级联操作，并通过卷积层得到精细焊缝视觉特征。
20、进一步的，所述精细焊缝视觉特征通过所述跨模态长短期记忆网络得到其中的焊缝缺陷类别。
21、进一步的，所述精细焊缝视觉特征通过softmax层获得若干显著类别的语义标签文本后与所述精细焊缝视觉特征进行跨模态对齐得到对齐的标签文本向量，包括：
22、将所述精细焊缝视觉特征通过softmax层初步预测图像中的焊缝缺陷类别，得到若干显著类别的语义标签并进行排序得到语义标签向量；
23、将所述精细焊缝视觉特征与所述语义标签向量进行对齐，得到对齐的标签文本向量。
24、进一步的，所述显著类别为通过softmax层后得到的预测概率大于预设值的焊缝缺陷类别。
25、进一步的，对若干显著类别的语义标签进行排序得到语义标签向量，包括：
26、选择概率值最高的语义标签作为语义标签向量序列的起点，分别计算显著类别的其他语义标签与所述概率值最高的语义标签的余弦距离；
27、对若干所述语义标签基于与序列起点的余弦距离，降序排列构建语义标签向量。
28、进一步的，使用典型相关分析将所述精细焊缝视觉特征与所述语义标签向量映射到一个共享空间中进行对齐，得到对齐的标签文本向量。
29、与现有技术相比，本发明至少可实现如下有益效果之一：
30、1、本发明通过基础特征提取模块提取输入图像的初始特征，将初始特征输入目标级注意力网络，以便有针对性地抽取图像中物体的更深层的视觉特征，采用跨模态对齐策略，从文本语料以及场景化的语义相关性出发，对多类别样本进行表示学习，挖掘标签间的语义上下文；最后通过跨模态长短期记忆网络得到识别结果。
31、2、本发明针对现有特征抽取方法无法有效感知对象级视觉信息的情况，构建了基于目标级注意力机制的网络模块，以便对图像进行有针对性地特征表示，进而提高模型对图像中视觉特征相对明显的地物的识别精度，从而达到降低误检率的目的。
32、3、本发明的技术中使用了跨模态对齐策略来构建视觉特征向量与文本特征向量之间的映射关系，并将对齐后的视觉特征输入跨模态长短期记忆网络进行训练，以便挖掘标签间的语义上下文与依赖关系，提取视觉场景中被遮挡、尺寸偏小、特征不显著的要素信息，降低漏检概率。
33、4、本发明通过优先考虑特征响应值最高的标签，并使用余弦距离对其他标签进行排序，有效地提升了模型对焊缝图像中不同缺陷类别的识别能力，不仅优化了标签处理流程，降低了计算复杂度，而且增强了模型对标签间语义联系的捕捉，提高了检测精度和泛化能力，从而在焊缝智能检测中发挥了重要作用。
34、本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
1.面向装备离散制造的焊缝图像多类别分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述方法，其特征在于，所述基础特征提取模块使用resnet-50模型，用于提取焊缝样本图像的基础特征得到焊缝初始视觉特征。
3.根据权利要求2所述方法，其特征在于，所述目标级注意力网络包括特征增强注意力模块和特征融合模块；
4.根据权利要求3所述方法，其特征在于，所述焊缝初始视觉特征通过所述特征增强注意力模块，得到视觉特征的注意力掩模，包括：
5.根据权利要求3所述方法，其特征在于，所述视觉特征的注意力掩模和所述焊缝初始视觉特征在所述特征融合模块进行特征融合，得到精细焊缝视觉特征，包括：
6.根据权利要求1-5任一项所述方法，其特征在于，所述精细焊缝视觉特征通过所述跨模态长短期记忆网络得到其中的焊缝缺陷类别。
7.根据权利要求1所述方法，其特征在于，所述精细焊缝视觉特征通过softmax层获得若干显著类别的语义标签文本后与所述精细焊缝视觉特征进行跨模态对齐得到对齐的标签文本向量，包括：
8.根据权利要求7所述方法，其特征在于，所述显著类别为通过softmax层后得到的预测概率大于预设值的焊缝缺陷类别。
9.根据权利要求8所述方法，其特征在于，对若干显著类别的语义标签进行排序得到语义标签向量，包括：
10.根据权利要求7所述方法，其特征在于，使用典型相关分析将所述精细焊缝视觉特征与所述语义标签向量映射到一个共享空间中进行对齐，得到对齐的标签文本向量。
