自动驾驶可行驶区域检测方法

allin2026-07-19  36


本发明涉及一种检测领域,尤其涉及一种自动驾驶可行驶区域检测方法。


背景技术:

1、随着智能汽车和深度学习的发展,自动驾驶成为一个研究热点。精准高效的环境感知是自动驾驶中的一个关键问题。而可行驶区域检测是环境感知中的关键问题。可行驶区域检测分为道路分割和车道线检测,为自动驾驶的决策如转向或刹车提供关键信息。当前,基于相机视觉感知的方法低成本且有提升潜力,仍是首选方案。然而,在汽车的低算力终端设备上流畅运行且不损失精度仍是一个挑战。

2、在深度学习的快速发展下,有很多方法可以处理道路分割和车道线检测。unet,segnet,ernet等可以处理分割任务,lanenet、scnn和enet-sad可以处理车道线检测任务。由于用两个不同网络来处理这两个任务耗时过长,有学者提出多任务网络来同时处理这两个任务。yolop、yolopv2、hybridnets、dlt-net、multinet和twinlitenet可以使用一个网络来同时处理多个任务,这样极大地减少了耗时。这些多任务网络虽然性能表现优异但由于结构上引入了过多的逐像素相加操作导致计算量很高,难以在汽车的低算力终端设备上保证推理速度。而且目前主流网络都是基于普通卷积神经网络(cnn)的。在车道线识别任务中,由于车道线在实际情况中会出现局部损坏的情况,普通cnn缺乏感知全局信息的能力无法识别损坏部分。在道路分割任务中,由于不同道路场景图片会因为天气、阳光和地点的变化发生巨大改变。而普通cnn是静态权重对无法根据输入调节权重,所以对不同道路场景的适应能力较差。

3、因此,为解决上述技术问题,亟需提出一种新的技术手段。


技术实现思路

1、有鉴于此,本发明提出了一种计算成本低且场景适应性强的基于深度学习的可行驶区域检测方法。

2、本发明提供的一种自动驾驶可行驶区域检测方法,包括以下步骤:

3、s1.获取道路场景的图片数据集,并对图片数据集进行预处理,得到样本数据集;

4、s2.构建自动驾驶可行驶区域检测模型;

5、自动驾驶可行驶区域检测模型包括:轻量编码器、全局尺寸融合模块和两个动态解码器;

6、其中,轻量编码器的输出端连接于全局尺寸融合模块的输入端,全局尺寸融合特征模块的输出端分别连接于两个动态解码器的输入端;

7、s3.将样本数据集输入至自动驾驶可行驶区域检测模型中进行训练;

8、s4.判断自动驾驶可行驶区域检测模型是否训练完成,如是,则进入步骤s5;如否,则更新参数,返回步骤s3中;

9、s5.将待测试道路场景的图片输入至训练完成的自动驾驶可行驶区域检测模型中,输出预测结果图。

10、进一步,轻量编码器由四个下采样模块ⅰ、七个下采样模块ⅱ和四个拼接模块组成;

11、第一个下采样模块ⅰ的输出端连接于第一个下采样模块ⅱ的输入端,第一个下采样模块ⅱ的输出端和第二个下采样模块ⅱ的输出端连接于第一个拼接模块,第一个拼接模块输出特征图ⅰ;

12、第二个下采样模块ⅰ的输入端连接于第一个下采样模块ⅰ的输出端,第二个下采样模块ⅰ的输出端连接于第三个下采样模块ⅱ的输入端,第一个拼接模块的输出端连接于第四个下采样模块ⅱ的输入端,第三个下采样模块ⅱ的输出端和第四个下采样模块ⅱ的输出端连接于第二个拼接模块的输入端,第二个拼接模块输出特征图ⅱ;

13、第三个下采样模块ⅰ的输入端连接于第二个下采样模块ⅰ的输出端,第三个下采样模块ⅰ的输出端连接于第五个下采样模块ⅱ的输入端,第二个拼接模块的输出端连接于第六个下采样模块ⅱ的输入端,第五个下采样模块ⅱ的输出端和第六个下采样模块ⅱ的输出端连接于第三个拼接模块的输入端,第三个拼接模块输出特征图ⅲ;

14、第四个下采样模块ⅰ的输入端连接于第三个下采样模块ⅰ的输出端,第三个拼接模块的输出端连接于第七个下采样模块ⅱ的输入端,第七个下采样模块ⅱ的输出端和第四个下采样模块ⅰ的输出端连接于第四个拼接模块的输入端,第四个拼接模块输出特征图ⅳ。

15、进一步,下采样模块ⅰ由两个特征提取模块组成,输入第一个特征提取模块的图片与第一个特征提取模块输出的特征图相加,并将相加后的特征图输入至第二个特征提取模块中,第一个特征提取模块用于提取图片特征,第二个特征提取模块用于缩减图片尺寸并增加通道数;

16、特征提取模块包括:两个点卷积模块、两个激活函数层和一个深度卷积模块;

17、其中,第一个点卷积模块的输出端连接于第一个激活函数层的输入端,第一个激活函数层的输出端连接于深度卷积模块的输入端,深度卷积模块的输出端连接于第二个激活函数层的输入端,第二个激活函数层的输出端连接于第二个点卷积模块的输入端。

18、进一步,全局尺寸融合模块由四个自注意力模块组成,第一个自注意力模块的输出端连接于第二个自注意力模块的输入端,第二个自注意力模块的输出端连接于第三个自注意力模块的输入端,第三个自注意力模块的输出端连接于第四个自注意力模块的输入端,第四个自注意力模块输出的特征图与输入第一自注意力模块的特征图相加,并将相加之后的特征图分别输入至两个动态解码器的输入端;

19、自注意力模块包括:进行通道裁剪操作的卷积模块、自注意力权重计算层、激活函数层、卷积模块、归一化层和全连接层;

20、其中,进行通道裁剪操作的卷积模块的输出端连接于自注意力权重计算层的输入端,自注意力权重计算层的输出端连接于激活函数层的输入端,激活函数层的输出端连接于卷积模块的输入端,卷积模块的输出端连接于归一化层的输入端,归一化层输出的特征图与输入进行通道裁剪操作的卷积模块的特征图相加,并将相加之后的特征图输入至全连接层,全连接层输出的特征图与输入全连接层的特征图相加,得到新的相加后的特征图,并输入至下一个自注意力模块中。

21、进一步,在将特征图输入至动态解码器之前,对特征图进行双线性插值,并将双线性插值后的特征图输入至动态解码器;

22、动态解码器包括:三个通道空间维度动态卷积模块,第一个通道空间维度动态卷积模块的输出端连接于第二个通道空间维度动态卷积模块的输入端,第二个通道空间维度动态卷积模块的输出端连接于第三个通道空间维度动态卷积模块的输入端,通道空间维度动态卷积模块输出预测结果。

23、进一步,通道空间维度动态卷积模块用于根据输入的特征自适应地改变权重;通道空间维度动态卷积模块包括:平均池化模块、卷积模块和归一化层;

24、其中,平均池化模块的输出端连接于卷积模块的输入端,卷积模块的输出端连接于归一化层的输入端。

25、进一步,通道空间维度动态卷积模块通过如下公式自适应地改变权重:

26、i′=favgpool(i)

27、

28、as=fsigmod(freshapei′)

29、

30、其中,i表示输入平均池化模块中的特征图,i′表示平均池化模块输出的特征图,favgpool表示进行平均池化操作,fconv表示进行卷积操作,fsigmod表示采用sigmod函数进行归一化操作,freshape表示进行reshape操作,w表示权重,w′表示自适应改变后的权重,ac表示通道维度的注意力地图,as表示空间维度的注意力地图。

31、进一步,步骤s3中,采用损失函数l对自动驾驶可行驶区域检测模型进行训练,损失函数l如下:

32、l=klfocal+(1-k)ltversky

33、

34、其中,k、α和β表示权重系数,n表示输入图片的像素数量,j表示类别数量,pi(j)表示输入图片的像素i对于类别j的真实值,表示输入图片的像素i对应类别j的预测值,γ表示类别影响因子,tp(j)表示预测值和真实值都为j,fn(j)表示真实值为j但预测值不为j,fp(j)表示真实值不为j但预测值为j。

35、进一步,步骤s4中,当训练轮数达到100轮时,自动驾驶可行驶区域检测模型训练完成。

36、进一步,步骤s1中,首先对图片进行随机旋转、变形和裁剪处理,然后将图片的尺寸缩小或扩大至目标尺寸。

37、本发明的有益效果:本发明的轻量编码器通过特征提取模块缩小特征图尺寸,以及通过拼接模块弥补采用轻量编码带来的维度交互不足,还能使不同层、不同尺寸的特征融合对全局依赖的捕获增强;本发明采用全局尺寸融合模块,在降低计算量的同时,能够更好地抵抗局部噪声,并能够减少预测结果中残缺车道线的出现;本发明通过动态解码器,能够自适应地调整权重,增强自动驾驶可行驶区域检测模型对不同场景的适应能力。


技术特征:

1.一种自动驾驶可行驶区域检测方法,其特征在于:包括以下步骤:

2.根据权利要求1所述自动驾驶可行驶区域检测方法,其特征在于:轻量编码器由四个下采样模块ⅰ、七个下采样模块ⅱ和四个拼接模块组成;

3.根据权利要求2所述自动驾驶可行驶区域检测方法,其特征在于:下采样模块ⅰ由两个特征提取模块组成,输入第一个特征提取模块的图片与第一个特征提取模块输出的特征图相加,并将相加后的特征图输入至第二个特征提取模块中,第一个特征提取模块用于提取图片特征,第二个特征提取模块用于缩减图片尺寸并增加通道数;

4.根据权利要求1所述自动驾驶可行驶区域检测方法,其特征在于:全局尺寸融合模块由四个自注意力模块组成,第一个自注意力模块的输出端连接于第二个自注意力模块的输入端,第二个自注意力模块的输出端连接于第三个自注意力模块的输入端,第三个自注意力模块的输出端连接于第四个自注意力模块的输入端,第四个自注意力模块输出的特征图与输入第一自注意力模块的特征图相加,并将相加之后的特征图分别输入至两个动态解码器的输入端;

5.根据权利要求1所述自动驾驶可行驶区域检测方法,其特征在于:在将特征图输入至动态解码器之前,对特征图进行双线性插值,并将双线性插值后的特征图输入至动态解码器;

6.根据权利要求5所述自动驾驶可行驶区域检测方法,其特征在于:通道空间维度动态卷积模块用于根据输入的特征自适应地改变权重;通道空间维度动态卷积模块包括:平均池化模块、卷积模块和归一化层;

7.根据权利要求6所述自动驾驶可行驶区域检测方法,其特征在于:通道空间维度动态卷积模块通过如下公式自适应地改变权重:

8.根据权利要求1所述自动驾驶可行驶区域检测方法,其特征在于:步骤s3中,采用损失函数l对自动驾驶可行驶区域检测模型进行训练,损失函数l如下:

9.根据权利要求1所述自动驾驶可行驶区域检测方法,其特征在于:步骤s4中,当训练轮数达到100轮时,自动驾驶可行驶区域检测模型训练完成。

10.根据权利要求1所述自动驾驶可行驶区域检测方法,其特征在于:步骤s1中,首先对图片进行随机旋转、变形和裁剪处理,然后将图片的尺寸缩小或扩大至目标尺寸。


技术总结
本发明提出的一种自动驾驶可行驶区域检测方法,包括以下步骤:S1.获取样本数据集;S2.构建自动驾驶可行驶区域检测模型;S3.将样本数据集输入至自动驾驶可行驶区域检测模型中进行训练;S4.判断自动驾驶可行驶区域检测模型是否训练完成,如是,则进入步骤S5;如否,则更新参数,返回步骤S3中;S5.将待测试道路场景的图片输入至训练完成的自动驾驶可行驶区域检测模型中,输出预测结果图。通过上述方法,能够实现低计算量和高精度预测。

技术研发人员:罗云,合烨,陈天驰,刘智
受保护的技术使用者:重庆大学
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-29473.html

最新回复(0)