本发明涉及一种基于实例分割的路面病害智能检测方法及系统，属于人工智能在道路病害检测的应用。
背景技术：
1、定期检测沥青道路的质量、及时发现路面病害对于维护道路交通安全尤为重要。该工作最早以人工巡检为主，效率低下且成本较高，同时存在一定的主观因素干扰。
2、随着图像处理技术的进步，很多基于传统数字图像处理技术的算法可以有效识别部分路面裂缝等病害，但在实际场景中，路面病害种类、形态各异，传统算法在实际应用中的鲁棒性与检测性能总是不尽人意。
3、随着深度学习技术的崛起促使了计算机视觉的迅猛发展，各种优秀的基于深度学习的视觉检测算法相继涌现，近年来将这些技术用于交通场景的例子也是数不胜数。在深度学习的计算机视觉算法通常使用骨干网络如resnet提取特征，再进行特征融合并通过不同的检测头输出预期的检测结果，如申请号为cn202210481982.5的中国专利公开的基于人工智能的复杂工况下路面病害高精度提取识别方法。不同的算法在不同的应用场景中表现不同，在沥青路面病害检测任务中，通常要求对路面病害进行高精度的识别和分割，然而沥青路面病害通常具有面积小、形状细长等特点，大多数算法在识别此类目标时精度较低，主要原因之一是以卷积神经网络为基础的特征提取层过于关注图像的局部特征，对一些细长或空间上不连续的图像特征信息提取能力欠缺；此外检测算法在融合主干网络输出的特征时，在高层特征图向浅层传播时高层语义信息的损失会影响最后模型对中小尺寸目标的检测效果。
4、在现有的方法中，还有大部分算法以卷积神经网络为基础提取特征，这类算法对沥青路面病害的检测效果欠佳，且特征图的质量不高：背景噪声多，前景特征不够明显；此外，各类目标检测算法仅能识别单张图片中的病害目标，对于跨图的长条状裂缝、修补等病害难以处理。
技术实现思路
1、本发明解决的技术问题是：针对现有基于深度学习技术在识别路面病害特征上存在的局限性，提供一种基于实例分割的路面病害智能检测方法及系统，来解决跨图病害识别的难点，提升路面病害检测精度。
2、本发明采用如下技术方案实现：
3、本发明首先公开了一种基于实例分割的路面病害智能检测方法，具体包括如下步骤：
4、s100、利用线阵相机采集包含路面病害的图像数据并对图像数据中的路面病害进行人工标注真值，通过自适应直方图均衡化对所采集的图像数据进行预处理；
5、s200、建立多层级特征提取网络提取图像数据中的全局特征，输出多尺度特征图；
6、s300、采用空间-通道注意力机制对多尺度特征图进行处理，增强其特征信息，使多尺度特征图中对应路面病害特征的目标区域充分激活；
7、s400、采用转置卷积上采样的路径聚合金字塔网络，对多尺度特征图进行特征融合，将金字塔网络的输出特征通过自适应增强机制进一步增强；
8、s500、将增强后的多尺度特征图输入实例分割模型进行模型训练，通过实例分割模型的图像分类、目标检测与实例分割分别预测路面病害的种类、空间位置与分割掩码，并与s100中人工标注的真值分别计算分类损失、框回归损失和掩码损失，对实例分割模型参数进行优化；
9、s600、使用训练好的实例分割模型对采集的多张路面图像进行预测，得到每张图像的预测结果后拼接得到整条路面的分割掩码，使用自适应形态学操作对每个病害种类的掩码矩阵进行处理，最终得到整条路面的病害检测结果。
10、在本发明的基于实例分割的路面病害智能检测方法中，进一步的，所述步骤s100包括如下子步骤：
11、s101、使用labelme标注工具对包含路面病害的图像数据进行标注，构建全监督数据集；
12、s102、获取全监督数据集中图像亮度，若图像亮度低于设定的亮度阈值，通过以下公式调整对应图像的像素值，
13、
14、式中pi,j表示原图像中的像素值，为调整后的像素值，β为提升图像整体基础亮度的偏移因子，α为对原图像整体像素值进行缩放的尺度缩放因子，表示为：
15、
16、bright表示图像亮度，为0到255之间的值，b’为设定的亮度阈值；
17、s103、将全监督数据集中的图像从rgb格式转化为hsv格式，其中对v通道进行直方图均衡化提升图像整体对比度，在处理直方图时通过对比度限制和双线性插值法保证图像的连续性，最后将hsv格式的图像转换回rgb格式的图像。
18、在本发明的基于实例分割的路面病害智能检测方法中，进一步的，在步骤s200中，所述多层级特征提取网络以swin transformer模块为基础构建，其基本单元包括两个相连的swintransformer块，通过叠加的方式将所述基本单元构建若干个子模块，再将所有子模块拼接得到所述多层级特征提取网络。
19、在本发明的基于实例分割的路面病害智能检测方法中，进一步的，所述步骤s300中，所述空间-通道注意力机制包括第一分支和第二分支，其中，所述第一分支通过下式对多尺度特征图进行空间注意力增强，得到第一特征图fks：
20、
21、其中表示多层级特征提取网络输出的第k层初始特征图，σ为sigmoid函数，cat表示对第一个维度进行拼接，mlp为由线性层组成的多层感知机，和分别为对fk进行空间最大池化和空间平均池化的结果；
22、所述第二分支通过下式对多尺度特征图进行通道注意力增强，得到第二特征图fkc：
23、
24、其中conv5表示5×5卷积操作，和分别为对fk进行通道维度最大池化和通道维度平均池化的结果；
25、通过下式将第一特征图fks和第二特征图fkc融合得到本步骤输出多尺度特征图fkout：
26、fkout＝relu(gn(conv3(fkc+fks)))，
27、式中relu表示非线性激活函数，gn表示组正则化，conv3表示3×3卷积操作。
28、在本发明的基于实例分割的路面病害智能检测方法中，进一步的，所述步骤s400包括如下子步骤：
29、s401、通过1×1卷积操作将s300输出多尺度特征图的通道调整统一为256，得到一级特征图fi；
30、s402、利用采用转置卷积上采样的路径聚合金字塔网络对一级特征图fi进行特征融合，得到二级特征图fi'；
31、s403、将多尺度特征图每层二级特征图fi'与其特征融合前的一级特征图fi、相邻层的两个二级特征图fi+1'、fi-1'通过下式进行自适应加权，得到增强后特征图f″i，
32、fi″＝conv3(ωiifi+ωi1fi-1′+ωi2f′i+ωi3fi+1′)，
33、其中conv3表示3×3卷积，ωi、ωi1、ωi2、ωi3为加权参数，均为搭建路径聚合金字塔网络定义的可学习参数。
34、在本发明的基于实例分割的路面病害智能检测方法中，进一步的，所述步骤s403中，所述金字塔网络聚合的转置卷积对多尺度特征图进行二倍上采样。
35、在本发明的基于实例分割的路面病害智能检测方法中，进一步的，所述步骤s500中，实例分割模型的分类、检测与分割检测头输出包括类别预测、目标边界框预测和目标掩码预测，分别对应路面病害的种类、空间位置与分割掩码的预测，将实例分割模型输出预测与真值的分类损失、框回归损失和掩码损失通过下式进行加权计算获得总损失：
36、l＝αlcls+βlbox+γlmask，
37、其中，l为总损失，lcls为分类损失，lbox为包围框损失，lmask为掩码损失，α、β、γ分别为分类损失、框回归损失和掩码损失的权重；
38、分类损失lcls和掩码损失lmask采用交叉熵损失，包围框损失lbox采用smoothl1损失；
39、计算实例分割模型预测结果的总损失后，使用adam优化器对模型参数进行迭代优化。
40、在本发明的基于实例分割的路面病害智能检测方法中，进一步的，所述步骤s600中，使用训练好的实例分割模型对路面图片进行预测，每张图片都得到c个分割掩码的二值矩阵，c为图片中路面病害种类的数量，按图片拼接顺序将c个分割掩码的二值矩阵进行拼接，得到整条路面的分割掩码，使用自适应形态学操作闭运算对每个病害类别的掩码矩阵进行处理，将属于同一病害的区域连接，形成一个连通区域，使用深度优先算法遍历整条路面的分割掩码二值矩阵，得到每个矩阵中连通域的个数，即得到整条路面中每个病害的数量、面积、位置信息，最终记录在检测结果中。
41、本发明还公开了一种采用上述路面病害智能检测方法的基于实例分割的路面病害智能检测系统，包括如下模块：
42、图像采集模块，采集包含路面病害的图像数据，并通过自适应直方图均衡化对所采集的图像数据进行预处理；
43、多层级特征提取模块，内部建立多层级特征提取网络，提取图像采集模块预处理后的图像数据中的全局特征，输出多尺度特征图；
44、特征信息增强模块，采用空间-通道注意力机制对多层级特征提取模块输出的多尺度特征图进行处理，增强其特征信息，使目标区域充分激活；
45、特征信息融合模块，采用转置卷积上采样的路径聚合金字塔网络，对特征信息增强模块输出的多尺度特征图进行特征融合，将金字塔网络的输出特征通过自适应增强机制进一步增强；
46、路面病害预测模块，内置实例分割模型，将增强后的多尺度特征图输入实例分割模型进行模型训练，通过实例分割模型的图像分类、目标检测与实例分割分别预测路面病害的种类、空间位置与分割掩码，并与真值分别计算分类损失、框回归损失和掩码损失，对实例分割模型参数进行优化，并使用优化后的实例分割模型检测对采集的多张路面图像进行预测，得到每张图像的预测结果后拼接得到整条路面的分割掩码，使用自适应形态学操作对每个病害种类的掩码矩阵进行处理，最终得到整条路面的病害检测结果。
47、另外，本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有被编程或配置实现本发明上述的基于实例分割的路面病害智能检测方法的计算机程序。
48、本发明具有如下有益效果：
49、(1)本发明采用自适应直方图均衡化对所采集的图像数据进行预处理，避免处理后的图像中出现过亮或过暗的区域，得到亮度充足、对比度更高的图像用于图像中路面病害特征的处理，保证了图像数据处理的可靠性和准确性。
50、(2)本发明采用空间-通道注意力特征增强机制提取特征图的空间注意力信息和通道注意力信息，并将二者有效融合，同时考虑到特征的空间全局信息和通道全局信息，有效抑制特征图中的背景噪声，增强特征图中目标实例区域的特征表示。相比于卷积，基于注意力机制的架构能更好地提取图像中的全局特征，实现对图像进行全局语义信息建模，以注意力机制为基础的骨干网络提取的特征更具鲁棒性，更适宜于目标检测，实例分割等下游视觉任务。具体来说，自注意力机制允许模型在处理每个位置时，对输入序列中其他位置的信息进行加权聚合，促使模型能够捕捉到输入序列中各个位置之间的长距离依赖关系，而不受局部感受野的限制。
51、(3)本发明通过构建基于转置卷积上采样的路径聚合金字塔网络用于图像特征融合，考虑到多尺度特征图不同层的特征可能包含同一目标的不同特征信息，采用特征自适应加权融合增强对多尺度特征图进一步处理，对金字塔网络的输出特征进行进一步增强，确保每层特征图中充分包含识别目标所需的判别性特征，能够更高效准确地识别图像数据中的路面病害特征。
52、(4)本发明考虑实际的道路巡检环境通常使用线阵相机，对于一些条状病害，会出现同一病害跨越多张图像的情况，对模型的病害分割结果进行后处理，将掩码按顺序拼接后采用自适应形态学操作处理掩码矩阵，能够避免将一个跨图病害识别为多个的问题，有效提升整条路段病害巡检的精度。
53、综上所述，本发明提供的一种基于实例分割的路面病害智能检测方法解决了现有的路面病害检测方法的局限性，提升路面病害检测精度、解决跨图病害识别等技术难点，并提供一套完整的路面病害智能检测系统，用于检测整条道路的病害数量、位置、种类以及病害程度等。
54、以下结合附图和具体实施方式对本发明做进一步说明。
1.基于实例分割的路面病害智能检测方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的基于实例分割的路面病害智能检测方法，其特征在于：所述步骤s100包括如下子步骤：
3.根据权利要求1所述的基于实例分割的路面病害智能检测方法，其特征在于：在步骤s200中，所述多层级特征提取网络以swin transformer模块为基础构建，其基本单元包括两个相连的swin transformer块，通过叠加的方式将所述基本单元构建若干个子模块，再将所有子模块拼接得到所述多层级特征提取网络。
4.根据权利要求1所述的基于实例分割的路面病害智能检测方法，其特征在于：所述步骤s300中，所述空间-通道注意力机制包括第一分支和第二分支，其中，所述第一分支通过下式对多尺度特征图进行空间注意力增强，得到第一特征图fks：
5.根据权利要求1所述的基于实例分割的路面病害智能检测方法，其特征在于：所述步骤s400包括如下子步骤：
6.根据权利要求5所述的基于实例分割的路面病害智能检测方法，其特征在于：所述步骤s403中，所述金字塔网络聚合的转置卷积对多尺度特征图进行二倍上采样。
7.根据权利要求5所述的基于实例分割的路面病害智能检测方法，其特征在于：所述步骤s500中，实例分割模型的分类、检测与分割检测头输出包括类别预测、目标边界框预测和目标掩码预测，分别对应路面病害的种类、空间位置与分割掩码的预测，将实例分割模型输出预测与真值的分类损失、框回归损失和掩码损失通过下式进行加权计算获得总损失：
8.根据权利要求5所述的基于实例分割的路面病害智能检测方法，其特征在于：所述步骤s600中，使用训练好的实例分割模型对路面图片进行预测，每张图片都得到c个分割掩码的二值矩阵，c为图片中路面病害种类的数量，按图片拼接顺序将c个分割掩码的二值矩阵进行拼接，得到整条路面的分割掩码，使用自适应形态学操作闭运算对每个病害类别的掩码矩阵进行处理，将属于同一病害的区域连接，形成一个连通区域，使用深度优先算法遍历整条路面的分割掩码二值矩阵，得到每个矩阵中连通域的个数，即得到整条路面中每个病害的数量、面积、位置信息，最终记录在检测结果中。
9.基于实例分割的路面病害智能检测系统，其特征在于，包括如下模块：
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有被编程或配置实现权利要求1-8中的基于实例分割的路面病害智能检测方法的计算机程序。
