本发明属于图像处理，具体涉及一种基于边缘增强的堤防裂缝险情智能识别方法。
背景技术：
1、堤防是水利工程的重要组成部分，不仅是防止洪水泛滥、保护沿岸居民安全的关键设施，也是维护生态平衡、促进可持续发展的重要保障。然而，堤防在长期运行过程中，由于自然因素（如水流冲刷、土壤侵蚀）和人为因素（如设计缺陷、施工质量问题等）的共同作用，可能会产生裂缝等安全隐患。这些裂缝不仅会影响堤防的结构完整性，还可能成为水流渗透的通道，进一步削弱堤防的防洪能力。因此，如何快速的对裂缝险情进行检测，提升巡堤效率，减少人员投入，在防洪减灾中具有重要作用和现实意义。
2、由于深度学习模型能够自动学习图像特征，在许多任务中取得了优越的性能，因此，深度学习模型也被运用于堤防裂缝险情检测的领域，并取得了较好的效果。但是这些基于深度学习的堤防裂缝险情检测方法没有充分利用堤防裂缝险情中裂缝相关的边缘特征信息，以提升堤防裂缝险情检测精度，且在准确性和检测速度方面仍有很大的改进潜力。
3、yolo系列作为高效的一阶段目标检测算法，在目标检测领域中获得了广泛的应用。其中yolo系列的yolov8版本，该算法在保证实时性的同时，具备较高的检测精度和轻量级网络结构，适合针对堤防裂缝检测任务进行改进研究。
4、因此，本发明选择yolov8模型作为基准模型。通过引入一个新的骨干网络（efb）从图像中提取边缘特征信息来对其进行增强，并采用新颖的特征增强融合模块（fefm）将原始图像特征与边缘特征信息特征融合，从而提高道堤防裂缝的准确性。本发明可用于基于无人机可见光图像的堤防裂缝检测，具有检测速度快，成本低的优势。
技术实现思路
1、本发明的目的是针对现有技术的不足，提供一种基于边缘增强的堤防裂缝险情智能识别方法，将利用边缘特征提取模块，提取图像高频边缘信息，有利于堤防裂缝险情的特征；设计两个主干网络特征提取模块来提高堤防裂缝险情检测的准确性；设计新的特征增强融合模块用于融合各种特征。
2、为实现上述目的，本发明采用下述技术方案：一种基于边缘增强的堤防裂缝险情智能识别方法，包括改进和训练yolov8模型和堤防裂缝险情检测两个过程；
3、改进和训练yolov8模型的具体步骤如下：
4、步骤s11，数据采集：使用携带可见光传感器的无人机巡检堤防，获取得到堤防的可见光图像数据，包含有堤防裂缝险情可见光图像以及无堤防裂缝险情可见光图像；
5、步骤s12，制作样本：对步骤s11采集的可见光图像数据进行标注整理，制作成堤防裂缝险情样本；
6、步骤s13，改进和训练yolov8模型：改进后的yolov8模型由原始主干网络、边缘主干网络和检测模块组成，其中原始主干网络、边缘主干网络两个主干网络由cbs卷积模块、c2f模块、空间金字塔池化模块、边缘特征提取模块和特征增强融合模块组成；
7、堤防裂缝险情检测的具体步骤如下：
8、步骤s21，获取图像：获取待检测堤防的可见光图像数据，作为堤防裂缝险情检测过程的输入图像；
9、步骤s22，划分窗口：将堤防的可见光图像数据划分成具有20%重叠的窗口，以480像素为滑动步长，采用640*640像素大小的滑动窗口，遍历整个输入图像；将高度和宽度不足640像素的窗口，通过左上角坐标向上或向左移动，使高度和宽度不足640像素的窗口大小保持640*640像素；
10、记录每一个窗口在输入图像中对应的编号和左上角坐标，记为（r，c，x，y），其中r为行数，c表示列数，x，y是对应的左上角坐标；
11、步骤s23，将每个窗口的可见光图像数据输入到步骤s13已经训练好的改进yolov8模型中；设置置信度阈值，得到超过置信度阈值的检测框的中心点位置、大小、类别及置信度；根据公式（1）计算检测框在输入图像中的真实位置；
12、 （1）；
13、其中，（，）是第k个检测框中心点在输入图像中的位置；（，）是检测框所在当前窗口的左上角坐标，（，）是第k个检测框中心点在当前窗口图像中的位置；
14、步骤s24，检测结果非最大抑制：当所有窗口检测完成后，在输入图像上得到多个检测框，再利用加权非极大抑制剔除重叠检测框；
15、步骤s25，输出最终检测结果：将加权非极大抑制后的结果进行输出，得到最终检测结果。
16、进一步的，步骤s12中，对步骤s11采集的可见光图像数据进行标注整理，制作成堤防裂缝险情样本；其中，堤防裂缝险情样本由正样本和负样本组成；具体为：
17、步骤s121，对采集到的可见光图像数据进行标注，挑选特征明显的可见光图像数据，将难以识别或检查后的无效可见光图像数据剔除；
18、步骤s122，使用640*640的像素大小对挑选后的可见光图像数据进行分割，将分割完成的可见光图像数据使用软件labelme标注出堤防裂缝险情特征，使用矩形框进行标注，以“裂缝”作为堤防裂缝险情标识，标注矩形框的可见光图像数据作为正样本，选取没有堤防裂缝险情特征的可见光图像数据作为负样本；
19、步骤s123，采用随机裁剪、翻转、模糊和改变亮度、对比度、随机排布扩增堤防裂缝险情样本，所有堤防裂缝险情样本统一缩放为640*640像素大小；
20、步骤s124，将统一缩放后的所有堤防裂缝险情样本按照8:2:1随机划分为训练集、验证集、测试集，使用k-均值算法对训练集中标注为“裂缝”的矩形框进行聚类，优化生成矩形框的大小。
21、进一步的，改进和训练yolov8模型，具体步骤为：
22、步骤s131，yolov8模型的输入是经过线性归一化处理后的640*640像素大小的可见光图像数据；输入端分别连接原始主干网络与边缘主干网络；
23、步骤s132，原始主干网络中，输入端连接第一个cbs卷积模块、第二个cbs卷积模块和第一个c2f模块，第一个c2f模块连接第三个cbs卷积模块和第二个c2f模块得到特征图a1, 第二个c2f模块连接第四个cbs卷积模块和第三个c2f模块得到特征图a2, 第三个c2f模块连接第五个cbs卷积模块、第四个c2f模块和空间金字塔池化模块得到特征图a3；
24、步骤s133，边缘主干网络中，输入端连接边缘特征提取模块得到边缘信息图像，边缘特征提取模块连接第六个cbs卷积模块、第七个cbs卷积模块和第五个c2f模块，第五个c2f模块连接第八个cbs卷积模块和第六个c2f模块得到边缘特征图b1, 第六个c2f模块连接第九个cbs卷积模块和第七个c2f模块得到特征图b2；
25、步骤s134，特征图a1与特征图b1连接特征增强融合模块进行融合得到第一个特征图ab1, 特征图a2与特征图b2连接特征增强融合模块进行融合得到第二个特征图ab2；
26、步骤s135，空间金字塔池化模块连接第一个上采样模块，第一个上采样模块的输出与第二个特征图ab2连接，利用特征增强融合模块进行融合，形成特征图a4；
27、特征图a4连接第八个c2f模块得到特征图a5；
28、特征图a5连接第二个上采样模块，第二个上采样模块的输出和第一个特征图ab1利用特征增强融合模块进行融合，形成特征图a6；
29、特征图a6连接第九个c2f模块得到特征图a7；
30、特征图a7连接第十个cbs卷积模块，第十个cbs卷积模块的输出与特征图a5跨接，形成特征图a8；
31、特征图a8连接第十个c2f模块得到特征图a9；
32、特征图a9连接第十一个cbs卷积模块，第十一个cbs卷积模块的输出与特征图a3跨接，形成特征图a10；
33、特征图a10连接第十一个c2f模块得到特征图a11；
34、特征图a7、特征图a9、特征图a11分别连接检测模块，得到yolov8模型的输出。
35、进一步的，c2f模块由cbs卷积模块、拆分模块和瓶颈块组成，c2f模块输入连接到cbs卷积模块，再连接拆分模块得到两个输出，将第一个输出连接n个瓶颈块得到n个输出，将n个输出与拆分模块得到的第二个输出进行拼接，将拼接结果与第二个cbs卷积模块进行连接得到c2f模块的输出。
36、进一步的，空间金字塔池化模块包含两个cbs卷积模块、三个最大池化层；空间金字塔池化模块输入经过第一个cbs卷积模块，再连接三个最大池化层，最后将第一个cbs卷积模块的输出与三个最大池化层的输出进行跨接，跨接后再连接第二个cbs卷积模块得到空间金字塔池化模块的输出。
37、进一步的，边缘特征提取模块将训练的样本利用高斯模糊进行预处理，得到高斯模糊图像i，再分别连接三个边缘检测算子，计算图像灰度函数的一阶离散差分值，提取高频边缘信息；三个边缘检测算子的卷积核分别是sobel算子、prewitt算子和roberts算子，三个边缘检测算子的计算公式见公式（2）、公式（3）、公式（4）、公式（5）和公式（6）；
38、 (2)；
39、 (3)；
40、 (4)；
41、 (5)；
42、 (6)；
43、其中，ksx和ksy分别是sobel算子水平方向x和垂直方向y上的卷积核；kpx和kpy是prewitt算子水平方向x和垂直方向y上的卷积核；krx和kry是roberts算子水平方向x和垂直方向y上的卷积核； gx表示水平梯度，gy表示垂直梯度；i表示高斯模糊图像，表示卷积运算，kx、ky分别表示水平方向x和垂直方向y的卷积核；
44、利用公式（7）对水平方向梯度gx和垂直方向梯度gy进行组合得到高频边缘信息gi；
45、 (7)；
46、其中，gi表示高频边缘信息图；
47、通过sobel算子、prewitt算子和roberts算子获得三个不同的单通道的高频边缘信息图，分别是sobel算子的单通道的高频边缘信息图gs，prewitt算子的单通道的高频边缘信息图gp，roberts算子的单通道的高频边缘信息图gr；将三组高频边缘信息图进行拼接，得到边缘主干网络的输入g，见公式（8）所示；
48、 (8)；
49、g表示三个单通道的高频边缘信息图拼接成边缘主干网络的输入。
50、进一步的，特征增强融合模块由坐标注意力模块、上下文建模模块组成；特征增强融合模块通过坐标注意力模块对相对低级特征图进行优化，利用相对高级特征图通过上下文建模模块获取不同通道的权重；利用获取不同通道的对相对低级特征图进行优化；具体为：
51、将原始主干网络的相对低级特征图经过坐标注意力模块，将位置信息嵌入到坐标注意力模块中，得到优化后的低级特征图；
52、将边缘主干网络的相对高级特征图经过上下文建模模块，得到相对高级特征图中每个通道的权重，再将优化后的低级特征图与每个通道的权重进行逐元素相乘获得最终的优化的低级特征图；
53、将最终的优化的低级特征图与相对高级特征图进行拼接得到特征增强融合模块的输出；见公式（9）、公式（10）、公式（11）和公式（12）；
54、 (9)；
55、 (10)；
56、 (11)；
57、 (12)；
58、其中，相对低级特征图，相对高级特征图；c、h和w分别为通道数、高度和宽度，为实数空间；为优化后的低级特征图，为相对低级特征图，为相对高级特征图中每个通道的权重，为相对高级特征图，为优化的低级特征图，为特征增强融合模块的输出；ca为坐标注意力模块，cm为上下文建模模块，concat为拼接操作。
59、采用本发明所述技术方案所具有的有益效果：
60、（1）本发明设计了边缘特征提取模块，利用三个高频滤波算子过滤图像低频信息，提取图像高频边缘信息，有利于堤防裂缝险情的特征；
61、（2）本发明设计了两个主干网络特征提取模块来提高堤防裂缝险情检测的准确性。原始主干网络从原始图像中捕获全局信息特征，而边缘主干网络对高频边缘信息进行处理，提取边缘特征；并通过使用多个特征增强融合模块对提取的不同层的语义特征和边缘特征进行融合，提高堤防裂缝险情检测精度；
62、（3）本发明设计了一种新的特征增强融合模块用于融合各种特征，该模块融合了注意力机制和全局上下文模块，增强了模型关注高频边缘特征信息的能力，增强了上下文信息，从而有效提高了堤防裂缝险情检测的准确性。
1.一种基于边缘增强的堤防裂缝险情智能识别方法，其特征在于：包括改进和训练yolov8模型和堤防裂缝险情检测两个过程；
2.根据权利要求1所述的一种基于边缘增强的堤防裂缝险情智能识别方法，其特征在于：步骤s12中，对步骤s11采集的可见光图像数据进行标注整理，制作成堤防裂缝险情样本；其中，堤防裂缝险情样本由正样本和负样本组成；具体为：
3.根据权利要求2所述的一种基于边缘增强的堤防裂缝险情智能识别方法，其特征在于：改进和训练yolov8模型，具体步骤为：
4.根据权利要求3所述的一种基于边缘增强的堤防裂缝险情智能识别方法，其特征在于：c2f模块由cbs卷积模块、拆分模块和瓶颈块组成，c2f模块输入连接到cbs卷积模块，再连接拆分模块得到两个输出，将第一个输出连接n个瓶颈块得到n个输出，将n个输出与拆分模块得到的第二个输出进行拼接，将拼接结果与第二个cbs卷积模块进行连接得到c2f模块的输出。
5.根据权利要求4所述的一种基于边缘增强的堤防裂缝险情智能识别方法，其特征在于：空间金字塔池化模块包含两个cbs卷积模块、三个最大池化层；空间金字塔池化模块输入经过第一个cbs卷积模块，再连接三个最大池化层，最后将第一个cbs卷积模块的输出与三个最大池化层的输出进行跨接，跨接后再连接第二个cbs卷积模块得到空间金字塔池化模块的输出。
6.根据权利要求5所述的一种基于边缘增强的堤防裂缝险情智能识别方法，其特征在于：边缘特征提取模块将训练的样本利用高斯模糊进行预处理，得到高斯模糊图像i，再分别连接三个边缘检测算子，计算图像灰度函数的一阶离散差分值，提取高频边缘信息；三个边缘检测算子的卷积核分别是sobel算子、prewitt算子和roberts算子，三个边缘检测算子的计算公式见公式（2）、公式（3）、公式（4）、公式（5）和公式（6）；
7.根据权利要求6所述的一种基于边缘增强的堤防裂缝险情智能识别方法，其特征在于：特征增强融合模块由坐标注意力模块、上下文建模模块组成；特征增强融合模块通过坐标注意力模块对相对低级特征图进行优化，利用相对高级特征图通过上下文建模模块获取不同通道的权重；利用获取不同通道的对相对低级特征图进行优化；具体为：
