本发明涉及计算机图像处理技术,尤其涉及一种混凝土孔内裂缝检测方法、装置、设备及存储介质。
背景技术:
1、随着基础设施建设的不断发展,桩基混凝土结构的健康监测变得越来越重要。通过孔内电视进行桩基混凝土裂缝的早期检测和修复是保证结构安全和延长使用寿命的关键步骤。
2、传统的人工检测方法费时费力,且存在主观误差。近年来,随着深度学习技术的发展,基于图像的自动裂缝检测方法逐渐成为研究热点。然而,孔内电视图像背景复杂,存在较多的干扰信息,现有的方法准确度较低。
技术实现思路
1、本发明提供一种混凝土孔内裂缝检测方法、装置、设备及存储介质,以提升对裂缝的感知能力,进而提高检测准确度。
2、第一方面,本发明提供了一种混凝土孔内裂缝检测方法,包括:
3、获取从混凝土结构孔内采集的孔内图像;
4、采用主干网络对所述孔内图像进行特征提取,得到图像特征;
5、采用空洞空间金字塔池化网络中多个空洞卷积层分别对所述图像特征进行空洞卷积处理,得到多个空洞卷积特征,其中,多个空洞卷积层具有相同的卷积核和不同的扩张率;
6、针对每一所述空洞卷积层,将所述图像特征与所述空洞卷积特征融合,得到第一融合特征;
7、将多个所述空洞卷积层对应的第一融合特征融合,得到第二融合特征;
8、基于所述第二融合特征从所述孔内图像分割出裂缝。
9、可选的,所述主干网络为mobilenet。
10、可选的,所述空洞空间金字塔池化网络还包括卷积核为1×1的卷积层和全局平均池化层,所述方法还包括:
11、在所述卷积层中对所述图像特征进行卷积处理,得到第一卷积特征;
12、在所述全局平均池化层中对所述图像特征进行全局平均池化处理,得到池化特征;
13、将多个所述空洞卷积层对应的第一融合特征融合,得到第二融合特征,包括:
14、将多个所述空洞卷积层对应的第一融合特征、所述第一卷积特征和所述池化特征融合,得到第二融合特征。
15、可选的,将所述图像特征与所述空洞卷积特征融合,得到第一融合特征,包括:
16、将所述图像特征与所述空洞卷积特征拼接,得到第一拼接特征;
17、采用混合通道注意力与空间注意力的混合注意力机制对所述第一拼接特征进行处理,得到第一融合特征。
18、可选的,采用混合通道注意力与空间注意力的混合注意力机制对所述第一拼接特征进行处理,得到第一融合特征,包括:
19、采用通道注意力机制对所述第一拼接特征进行处理,得到表征所述第一拼接特征的跨通道依赖关系的通道注意力权重;
20、将所述通道注意力权重与所述第一拼接特征相乘,得到通道注意力特征;
21、采用空间注意力机制对所述通道注意力特征进行处理,得到表征所述通道注意力特征的跨空间依赖关系的空间注意力权重;
22、将所述空间注意力权重与所述通道注意力特征相乘,得到第一融合特征。
23、可选的,基于所述第二融合特征从所述孔内图像分割出裂缝,包括:
24、采用卷积核为1×1的卷积层对所述图像特征进行卷积处理,得到第二卷积特征;
25、采用卷积核为1×1的卷积层对所述第二融合特征进行卷积处理,得到第三卷积特征;
26、将所述第三卷积特征上采样为与所述第二卷积特征相同尺寸的第四卷积特征;
27、将所述第二卷积特征和所述第四卷积特征拼接,得到第二拼接特征;
28、对所述第二拼接特征进行卷积处理,得到第五卷积特征;
29、将所述第五卷积特征上采样为与所述孔内图像相同尺寸的特征图;
30、采用分类层对所述特征图中每一元素进行语义分类,确定所述裂缝。
31、可选的,在获取从混凝土结构孔内采集的孔内图像之前,还包括:
32、获取训练集,所述训练集包括多张带有标签信息的孔内图像样本;
33、将所述孔内图像样本输入包括主干网络和空洞空间金字塔池化网络的裂缝检测模型中进行处理,得到针对所述孔内图像样本的裂缝检测结果;
34、基于所述孔内图像样本的裂缝检测结果和标签信息,计算损失值;
35、判断所述损失值是否小于预设值;
36、若是,则停止训练;
37、若否,则更新所述裂缝检测模型的模型参数,从所述训练集中重新获取所述孔内图像样本,并执行将所述孔内图像样本输入包括主干网络和空洞空间金字塔池化网络的裂缝检测模型中进行处理的步骤,直至所述损失值小于预设值;
38、其中,计算所述损失值的损失函数如下:
39、
40、tp表示检测结果和标签都将所述孔内图像样本中的像素分类为裂缝的像素数量,fp表示检测结果将所述孔内图像样本中不是裂缝的像素分类为裂缝的像素数量,fn表示检测结果将所述孔内图像样本中是裂缝的像素分类为不是裂缝的像素数量,α和β是平衡误差的权重参数,|x|和|y|分别表示检测结果中的裂缝和所述孔内图像样本中真实裂缝的像素数量,|x∩y|表示检测结果中裂缝和所述孔内图像样本中真实裂缝的交集的像素数量。
41、第二方面,本发明还提供了一种混凝土孔内裂缝检测装置,包括:
42、图像获取模块,用于获取从混凝土结构孔内采集的孔内图像;
43、特征提取模块,用于采用主干网络对所述孔内图像进行特征提取,得到图像特征;
44、空洞卷积模块,用于采用空洞空间金字塔池化网络中多个空洞卷积层分别对所述图像特征进行空洞卷积处理,得到多个空洞卷积特征,其中,多个空洞卷积层具有相同的卷积核和不同的扩张率;
45、第一特征融合模块,用于针对每一所述空洞卷积层,将所述图像特征与所述空洞卷积特征融合,得到第一融合特征;
46、第二特征融合模块,用于将多个所述空洞卷积层对应的第一融合特征融合,得到第二融合特征;
47、裂缝分割模块,用于基于所述第二融合特征从所述孔内图像分割出裂缝。
48、第三方面,本发明还提供了一种电子设备,包括:
49、一个或多个处理器;
50、存储装置,用于存储一个或多个程序;
51、当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明第一方面提供的混凝土孔内裂缝检测方法。
52、第四方面,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明第一方面提供的混凝土孔内裂缝检测方法。
53、本发明提供的混凝土孔内裂缝检测方法,采用主干网络对孔内图像进行特征提取,得到图像特征,采用空洞空间金字塔池化网络中多个空洞卷积层分别对图像特征进行空洞卷积处理,得到多个空洞卷积特征,其中,多个空洞卷积层具有相同的卷积核和不同的扩张率,针对每一空洞卷积层,将图像特征与空洞卷积特征融合,得到第一融合特征,将多个空洞卷积层对应的第一融合特征融合,得到第二融合特征,基于第二融合特征从孔内图像分割出裂缝。通过将图像特征与空洞卷积特征融合,得到第一融合特征,即融合不同尺度的特征,能够捕捉不同尺度的裂缝特征,提升对裂缝的感知能力,进而提高检测准确度。
54、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
1.一种混凝土孔内裂缝检测方法,其特征在于,包括:
2.根据权利要求1所述的混凝土孔内裂缝检测方法,其特征在于,所述主干网络为mobilenet。
3.根据权利要求1所述的混凝土孔内裂缝检测方法,其特征在于,所述空洞空间金字塔池化网络还包括卷积核为1×1的卷积层和全局平均池化层,所述方法还包括:
4.根据权利要求1-3任一所述的混凝土孔内裂缝检测方法,其特征在于,将所述图像特征与所述空洞卷积特征融合,得到第一融合特征,包括:
5.根据权利要求4所述的混凝土孔内裂缝检测方法,其特征在于,采用混合通道注意力与空间注意力的混合注意力机制对所述第一拼接特征进行处理,得到第一融合特征,包括:
6.根据权利要求1-3、5任一所述的混凝土孔内裂缝检测方法,其特征在于,基于所述第二融合特征从所述孔内图像分割出裂缝,包括:
7.根据权利要求1-3、5任一所述的混凝土孔内裂缝检测方法,其特征在于,在获取从混凝土结构孔内采集的孔内图像之前,还包括:
8.一种混凝土孔内裂缝检测装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括:
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7任一所述的混凝土孔内裂缝检测方法。