本发明属于自动驾驶，具体涉及一种基于全局特征优化和形状特征感知聚合的车道线检测方法。
背景技术：
1、目前，自动驾驶[1]技术在学术界和工业界都引起了极大关注，其中车道线检测作为智能车辆系统的核心组成部分，扮演着至关重要的角色。其主要任务是从各种道路环境中准确地识别和定位车道线，这对于确保车辆的行驶安全和路线规划至关重要。
2、现有的车道线检测方法可以分为两类：传统的基于图像处理的方法和基于深度学习的方法。基于图像处理的方法主要依赖于边缘检测[2]和霍夫变换[3]等传统图像处理技术。这些方法通过检测图像中的边缘特征来识别车道线，但由于其依赖于人工设计的特征，容易受到光照变化、阴影和道路磨损等外界因素的影响，检测精度和稳定性较低。例如，常见的canny边缘检测算法和霍夫变换方法在理想条件下可以提供一定的检测效果，但在实际复杂环境中表现不佳。
3、随着深度学习技术的发展，基于卷积神经网络(cnn)的车道线检测方法成为研究热点。基于深度学习的方法主要分为四类：基于分割的方法、基于曲线的方法、基于关键点的方法和基于anchor的方法。基于分割的方法将车道线检测视为逐像素分割的问题，将每个像素表示为车道线区域或背景区域。例如，scnn[4](spatial cnn)方法通过切片网络结构在图像行列中传递信息，达到了较高的检测准确率。然而，这类方法通常需要较长的处理时间，计算量较大，不适用于实时应用。基于曲线的方法[5]对车道曲线进行建模，然后对这些参数进行回归来检测车道。例如，polylanenet[6]方法使用多项式系数表示曲线，实现了较高的效率。bezierlanenet[7]则提出使用参数化的贝塞尔曲线，实现了端到端的车道线检测。然而，由于曲线抽象的多项式系数不易学习，这类方法的检测性能较低。基于关键点的方法将车道点作为关键点[8]进行检测，然后分组为车道实例。例如，pinet[9]方法通过堆叠沙漏网络预测关键点位置和特征嵌入，再将关键点聚类为车道实例。此类方法需要进行复杂的后处理，计算成本较高。基于anchor的方法采用预定义的线锚点作为参考来回归精确的车道。例如，line-cnn[11]使用从图像边界发射的具有特定方向的直线作为锚点，clrnet[10](cross layerrefinementnetwork)方法通过跨层细化网络，利用高级语义特征检测车道的大概位置，再基于低级特征进行逐层细化，并始终在整个过程中保持车道线图像的高级语义信息。该方法在检测精度和速度之间达到了较好的平衡，但在复杂场景中的表现仍有待提高。
4、现有的车道线检测方法在处理常规场景时往往能够达到较高的识别准确率，然而，当遇到复杂道路场景(如弯道、车道线遮挡及缺失、强光等)下，检测精度显著下降。这是因为现有的这些方法在特征提取过程中无法有效区分重要发车道线信息和冗余的背景信息，导致计算资源浪费和检测效率低下；同时在处理车道线的全局和局部特征时，模型难以对其实现有效的融合，无法充分利用车道线的形状先验和图像中的全局信息，致使模型对复杂情况下车道线的检测性能不佳，容易受到环境变化的干扰，难以在多变的环境中准确识别车道线。
5、参考文献：
6、[1]ekim yurtsever,jacob lambert,alexander carballo,and kazuyatakeda.a survey of autonomous driving:common practices and emergingtechnologies.ieee access,8:58443–58469,2020.
7、[2]shou-ming hou,chao-lan jia,ya-bing wanga,and mackenzie brown.areview ofthe edge detection technology.sparklinglight transactions onartificial intelligence and quantum computing(staiqc),1(2):26–37,2021.
8、[3]kai zhao,qi han,chang-bin zhang,jun xu,and ming-ming cheng.deephough transform for semantic line detection.ieee transactions on patternanalysis and machine intelligence,44(9):4793–4806,2021.
9、[4]xingang pan,jianping shi,ping luo,xiaogang wang,and xiaooutang.spatial as deep:spatial cnn for traffic scene understanding.inproceedings of the aaai conference on artificial intelligence,volume 32,2018.
10、[5]wouter van gansbeke,bert de brabandere,davy neven,marc proesmans,and luc van gool.end-to-end lane detection through differentiable leastsquares fitting.in proceedings ofthe ieee/cvf international conference oncomputer vision workshops,pages 0–0,2019.
11、[6]lucas tabelini,rodrigo berriel,thiago m paixao,claudine badue,alberto f de souza,and thiago oliveira-santos.polylanenet:lane estimation viadeep polynomial regression.in 202025th international conference on patternrecognition(icpr),pages 6150–6156.ieee,2021.
12、[7]zhengyang feng,shaohua guo,xin tan,ke xu,min wang,and lizhuangma.rethinking efficient lane detection via curve modeling.in proceedingsofthe ieee/cvf conference on computer vision and pattern recognition,pages17062–17070,2022.
13、[8]ce zheng,wenhan wu,chen chen,taojiannan yang,sijie zhu,ju shen,nasser kehtarnavaz,and mubarak shah.deep learning-based human poseestimation:a survey.acm computing surveys,56(1):1–37,2023.
14、[9]yeongmin ko,younkwan lee,shoaib azam,farzeen munir,moongu jeon,andwitold pedrycz.key points estimation and point instance segmentation approachfor lane detection.ieee transactions on intelligent transportation systems,23(7):8949–8958,2021.
15、[10]tu zheng,yifei huang,yang liu,wenjian tang,zheng yang,deng cai,and xiaofei he.clrnet:cross layer refinement network for lane detection.inproceedings ofthe ieee/cvf conference on computer vision and patternrecognition,pages 898–907,2022.
16、[11]xiang li,jun li,xiaolin hu,and jian yang.line-cnn:end-to-endtraffic line detection with line proposal unit.ieee transactions onintelligent transportation systems,21(1):248–258,2019.。
技术实现思路
1、本发明的目的在于针对背景技术存在问题，提供一种基于全局特征优化和形状特征感知聚合的车道线检测方法，用于在复杂道路环境下实现高鲁棒性和高准确性的车道线检测。
2、为实现上述目的，本发明的技术方案是：一种基于全局特征优化和形状特征感知聚合的车道线检测方法，提出融合全局特征优化器gfo和自适应车道几何聚合器alga两个核心组件的车道线检测模型，通过全局特征优化器gfo使得模型能够对图像中的局部和全局特征进行充分地融合，同时使用自适应车道几何聚合器alga来有效地利用好车道线的形状先验信息，进而实现车道线检测。
3、在本发明一实施例中，所述方法包括如下步骤：
4、对输入的车道线图像进行预处理；
5、通过主干网络提取不同层级的特征；
6、在全局特征优化器gfo的操作下对提取到的特征进行处理；
7、通过自适应车道几何聚合器alga利用车道线特殊的形状先验信息，增强图像中车道锚点的相关性；
8、通过颈部网络对提取到的特征进行从粗到细的逐层细化，以优化提取到的特征，并在整个过程中始终保持高级语义信息；
9、将优化得到的特征进行包括池化、卷积和全连接层的操作，最终送到回归分支和分类分支并进行特征的聚合及可视化以得到最终的车道线预测图像。
10、在本发明一实施例中，所述对输入的车道线图像进行预处理的方式为：将车道线图像裁剪为320×800的大小。
11、在本发明一实施例中，所述主干网络为resnet-18。
12、在本发明一实施例中，所述颈部网络为特征金字塔。
13、在本发明一实施例中，所述全局特征优化器gfo，通过结合eca的高效通道注意力和cbam的空间注意力，能够更细致地调整网络对不同通道和空间区域的关注，使得模型能够更好地处理复杂和多变的道路环境，同时由于eca的一维卷积比cbam的全连接层更轻量，能够有效地提升模型的速度，对于需要实时处理的车道检测系统，全局特征优化器能够提供快速而准确的性能。
14、在本发明一实施例中，所述全局特征优化器gfo具体实现方式如下：
15、对于一个维度大小为h×w×c(其中h代表输入特征图的高度，w表输入特征图的宽度，c代表输入特征图的通道数)的输入特征图，最先进入eca的高效通道注意力处理，其首先对输入的特征图进行全局特征池化操作，得到1×1×c的输出，接下来对这个输出进行一维卷积操作，用于捕捉通道间的依赖信息，卷积核的大小根据输入特征图的通道数进行自适应调整，如下公式所示：
16、
17、其中|t|odd表示t最接近的奇数，将γ和b设置为常数；
18、将得到的输出通过sigmoid激活函数得到最终的通道注意力特征，再与原特征图进行逐元素相乘操作，这个过程用下列公式表示：
19、feca＝f×σ(conv1d(avgpool(f)))
20、其中avgpool是全局平均池化，将特征图f的空间维度压缩，只保留通道信息；conv1d是一维卷积，用于捕获通道间的依赖关系；σ是sigmoid激活函数，用于生成通道注意力权重；
21、接着，经eca输出的维度大小为h×w×c的特征图继续作为cbam的空间注意力的输入，其首先在通道维度对特征图进行最大池化和平均池化操作，得到两个h×w×1的特征图，然后在通道维度对这两个特征图进行concat操作，接下来通过一个卷积核大小为7×7的的卷积操作，降低通道维数，并学习不同空间位置的重要性，之后使用sigmoid函数生成空间注意特征，再将这个特征与eca输出的特征图进行逐元素相乘操作得到最终融合了通道和空间注意力的特征图，这个过程用下列公式表示：
22、fspatial＝σ(conv2d(concat(avgpool(feca),maxpool(feca))))×feca
23、其中，avgpool(feca)和maxpool(feca)分别表示对eca调整后的特征图feca进行平均池化和最大池化；concat表示将两个池化结果沿通道维度拼接；conv2d是二维卷积操作，用于学习不同空间位置的重要性；σ是sigmoid激活函数，用于生成空间注意力权重。
24、在本发明一实施例中，γ和b分别设置为2和1。
25、在本发明一实施例中，所述自适应车道几何聚合器alga用以感知车道线的形状特征，通过预测锚点与其周围锚点之间的偏移量及每个偏移量的调质因子，并使用可变形卷积结合这些偏移量和调质因子进行特征整合，以聚合锚点的上下文信息。
26、在本发明一实施例中，所述自适应车道几何聚合器alga具体实现如下：
27、对于一个车道锚点，首先使用卷积层来预测它与其周围同一车道上的k个锚点之间的偏移量及每个偏移量相应的调质因子，这个调质因子使得模型能够自适应地调节每个锚点的贡献度，具体如下列公式所示：
28、
29、其中，pi表示第i个锚点的坐标，表示第i个锚点的特征表示，φ表示偏移量卷积层，用于从特征图学习并提取预测的偏移量，ψ表示调质因子卷积层，用于从特征图中学习并提取每个偏移量的调质因子，表示预测的偏移量集合，表示第m个偏移的偏移量，表示预测到的偏移量的调质因子集合，表示第m个偏移的调质因子；
30、接下来，通过使用可变形卷积来结合预测到的偏移量和每个偏移量对应的调质因子对锚点相邻的特征进行整合，以聚合第i个锚点的上下文信息，如下所示：
31、
32、其中，wm,m＝1,…,m是卷积的权重；
33、在经过可变形卷积的特征聚合后，继续对特征图施加空间注意力，进而有效地处理车道线缺失或遮挡的情况，得到最终的车道线预测图像。
34、相较于现有技术，本发明具有以下有益效果：
35、本发明的创新在于(1)提出了一种能够模拟人类视觉聚焦能力的多尺度注意力机制，称为全局特征优化器，其可有效过滤掉不重要的信息，集中处理与任务最相关的图像区域，缓解由冗余的背景信息导致的车道图像特征区分度不足的问题，同时在不牺牲性能的情况下降低计算成本，提高处理效率和准确率；(2)设计了一种形状特征感知模块，称为自适应车道几何聚合器，其能够利用车道线特殊的形状先验，增强图像中锚点的相关性，从而提高在复杂道路环境中，特别是在存在遮挡、光照变化或天气条件不佳的情况下，模型对于细长、弯曲的车道线的细节处理能力；(3)通过将全局特征优化器和自适应车道几何聚合器集成到现有模型中，使得模型能够在复杂道路场景下表现出更高的性能稳定性，并进行了大量的实验以及实验结果的可视化，有效地验证本发明算法模型能够更好地进行车道线检测，能够在复杂场景下比基准模型拥有更好的车道线检测性能，特别是在弯道场景中，能够比基准模型提高近三个百分点的f1分数。
1.一种基于全局特征优化和形状特征感知聚合的车道线检测方法，其特征在于，提出融合全局特征优化器gfo和自适应车道几何聚合器alga两个核心组件的车道线检测模型，通过全局特征优化器gfo使得模型能够对图像中的局部和全局特征进行充分地融合，同时使用自适应车道几何聚合器alga来有效地利用好车道线的形状先验信息，进而实现车道线检测。
2.根据权利要求1所述的一种基于全局特征优化和形状特征感知聚合的车道线检测方法，其特征在于，包括如下步骤：
3.根据权利要求2所述的一种基于全局特征优化和形状特征感知聚合的车道线检测方法，其特征在于，所述对输入的车道线图像进行预处理的方式为：将车道线图像裁剪为320×800的大小。
4.根据权利要求2所述的一种基于全局特征优化和形状特征感知聚合的车道线检测方法，其特征在于，所述主干网络为resnet-18。
5.根据权利要求2所述的一种基于全局特征优化和形状特征感知聚合的车道线检测方法，其特征在于，所述颈部网络为特征金字塔。
6.根据权利要求2所述的一种基于全局特征优化和形状特征感知聚合的车道线检测方法，其特征在于，所述全局特征优化器gfo，通过结合eca的高效通道注意力和cbam的空间注意力，能够更细致地调整网络对不同通道和空间区域的关注，使得模型能够更好地处理复杂和多变的道路环境，同时由于eca的一维卷积比cbam的全连接层更轻量，能够有效地提升模型的速度，对于需要实时处理的车道检测系统，全局特征优化器能够提供快速而准确的性能。
7.根据权利要求2或6所述的一种基于全局特征优化和形状特征感知聚合的车道线检测方法，其特征在于，所述全局特征优化器gfo具体实现方式如下：
8.根据权利要求7所述的一种基于全局特征优化和形状特征感知聚合的车道线检测方法，其特征在于，γ和b分别设置为2和1。
9.根据权利要求2所述的一种基于全局特征优化和形状特征感知聚合的车道线检测方法，其特征在于，所述自适应车道几何聚合器alga用以感知车道线的形状特征，通过预测锚点与其周围锚点之间的偏移量及每个偏移量的调质因子，并使用可变形卷积结合这些偏移量和调质因子进行特征整合，以聚合锚点的上下文信息。
10.根据权利要求2或9所述的一种基于全局特征优化和形状特征感知聚合的车道线检测方法，其特征在于，所述自适应车道几何聚合器alga具体实现如下：
