本发明属于智慧交通领域，具体涉及一种基于地面约束的路侧相机三维目标检测方法及系统。
背景技术：
1、随着智慧交通的不断发展，需要利用智能路端设备对交通情况进行实时、准确的感知。目前，常用的路端感知设备包括激光雷达和rgb相机等。其中rgb相机成本低廉，已在路端得到了广泛的部署和应用。在智慧交通场景中，为了获取道路上行人和车辆的具体位置、三维尺寸等信息，需要对图像中的目标进行三维目标检测。
2、路侧的相机安装位置固定，具有丰富的语义信息，安装位置高，具有超视距的感知能力。现有的基于路侧相机的三维目标检测方法大都沿用车侧相机中的方法，没有充分挖掘路端的先验信息，检测精度有待提高。
技术实现思路
1、为了解决现有技术中存在的问题，本发明实施例的目的在于提供一种基于地面约束的路侧相机三维目标检测方法，充分挖掘了场景信息，也拓宽了模型的适用场景。
2、为了实现上述目的，本发明采用的技术方案是：基于地面约束的路侧相机三维目标检测方法，包括以下步骤：
3、获取路侧相机的原始图像数据作为输入，采用训练好的路侧单目三维目标检测模型进行推理，最终得到三维目标的类别以及在相机坐标系中的长宽高、底面中心点、朝向角；
4、具体的，图像数据输入路侧单目三维目标检测模型中后，路侧单目三维目标检测模型利用二维骨干网络提取图像特征，得到图像特征后分为两个分支；分支一使用二维目标检测器进行二维目标检测，得到二维目标检测框；分支二使用depthnet网络进行深度估计，使用lss方式将图像特征投影得到场景的bev特征；使用地面方程将二维目标框投影到bev空间，作为三维目标检测的提议框；使用所述提议框裁剪所述场景的bev特征，得到形状相同的roi特征，利用所述roi特征预测三维目标的信息，进行nms处理得到三维目标检测结果，即三维目标的类别以及在地面坐标系中的长宽高、底面中心点、朝向角，最终使用地面坐标系到相机坐标系的变换矩阵，将三维目标的地面中心点、朝向角变换到相机坐标系中。
5、进一步的，地面方程的获取包括：
6、斑马线位于地面，求将解相机坐标系中的地面方程转化为将物理坐标系中[0,0,1]向量变换到相机坐标系中，变换过程中，结合变换矩阵tcg＝[r|t]将相机坐标系转换到物理坐标系，已知相机内参k,像素坐标puv＝[u,v]，相机系坐标pc＝[xc,yc,zc]，物理坐标系pw＝[xw,yw,zw],且zw＝0,相机成像方程为zcpuv＝kpc，从物理坐标系到相机坐标系的转换方程为pc＝tcg-1pw；以斑马线角点作为标定参照物，构建pnp问题，最小化投影误差，求解相机到物理坐标系的变换矩阵tcg，进而得到相机系中的地面方程[a,b,c,d]＝[0,0,1,0]*tcg-1；
7、若相机视野中没有斑马线，则基于激光雷达采集的点云数据拟合地面，将激光雷达和相机进行外参标定得到外参矩阵tlc，在激光雷达中拟合得到地面方程[al,bl,cl,dl]，进而得到相机系中的地面方程：
8、
9、在激光雷达中拟合地面方程时，先使用patchwork++分割出地面点，再使用ransac算法拟合地面点得到地面方程。
10、进一步的，所采用的二维骨干提取网络为resnet-50；所采用的二维目标检测器为ssd或其他基于卷积特征的二维目标检测器，单独训练二维目标检测器使其对图像中的目标达到99.5％的召回率；所采用的深度估计网络是depthnet网络，为每个图像特征估计d个离散的深度。
11、进一步的，使用地面方程将二维目标框投影到bev空间包括：先将二维目标框投影到相机坐标系中，再转换到地面坐标系中。二维目标框的左下角点和右下角点满足地面方程，相机系中地面上点满足：
12、
13、联立地面方程和上述方程得到下面两个方程，即根据地面方程，以及目标的落地点在图像中的投影点，求得该点在相机坐标系中的坐标[xc,yc,zc]，
14、相机系中点的求解公式为：
15、
16、再根据相机坐标系到地面坐标系的变换矩阵tcg，将相机系中的目标框投影到地面坐标系中；
17、已知相机坐标系中的地面方程，设地面坐标系的原点为相机系o点，xgoyg平面平行于地面，则可得到相机系到地面坐标系的变换矩阵tcg＝[xcg,ycg,zcg]，采用施密特正交化计算其中每一个单位向量如下：
18、
19、其中，a、b、c是相机坐标系中地面方程的系数，xc是相机坐标系中的x轴的单位向量，xcg、ycg、zcg分别是地面系中的x轴、y轴、z轴单位向量在相机系中的表示。
20、进一步的，利用所述roi特征预测三维目标的信息，进行nms处理得到三维目标检测结果包括：
21、使用提议框裁剪bev特征，将每个提议对应的bev特征区域划分为pool_w*pool_h的网格，再对所述网格的每一份进行最大池化处理；利用已经得到的提议特征图，经过回归头获取每个提议框的偏移量，利用所述偏移量对提议框进行修正；
22、使用单独的高度回归分支预测目标的高度，进而得到目标在地面坐标系中的长宽高、以及底面中心点的信息。
23、进一步的，利用所述roi特征预测三维目标的信息，进行nms处理得到最终的三维目标检测结果包括推理得到三维目标的朝向角，具体如下：通过muti-bin的方式预测目标的朝向角，以目标的底面中心点为原点，将周围360度空间划分为多个bin，首先通过分类的方式预测朝向角落在哪个bin中，再预测目标在该bin中的偏移量，得到目标在地面坐标系中的朝向角。
24、进一步的，所述二维目标检测器的损失函数为：
25、
26、其中，n是预测的正样本数，c是目标实际的类别，lcls使用的softmax损失，lreg使用smoothl1损失；
27、训练路侧单目三维目标检测模型的损失函数为：
28、ltotal＝β1lcls+β2lreg+β3ldir
29、其中β1、β2、β3为常数，lcls是目标的分类损失，lreg是目标的三维回归损失，ldir是目标的朝向损失。
30、基于以上构思本发明还提供一种基于地面约束的路侧相机三维目标检测系统，包括数据获取模块以及推理模块；
31、数据获取模块用于获取路侧相机的原始图像数据；
32、推理模块基于路侧单目三维目标检测模型对原始图像数据处理得到三维目标检测结果，具体的：图像数据输入路侧单目三维目标检测模型中后，路侧单目三维目标检测模型利用二维骨干网络提取图像特征，得到图像特征后分为两个分支；分支一使用二维目标检测器进行二维目标检测，得到二维目标检测框；分支二使用depthnet网络进行深度估计，使用lss方式将图像特征投影得到场景的bev特征；使用地面方程将二维目标框投影到bev空间，作为三维目标检测的提议框；使用所述提议框裁剪所述场景的bev特征，得到形状相同的roi特征，利用所述roi特征预测三维目标的信息，进行nms处理得到三维目标检测结果，即目标的类别以及在地面坐标系中的长宽高、底面中心点、朝向角，最终使用地面坐标系到相机坐标系的变换矩阵，将三维目标的地面中心点、朝向角变换到相机坐标系中。
33、本发明还可以提供一种计算机设备，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取所述计算机可执行程序并执行，处理器执行计算可执行程序时能实现本发明所述基于地面约束的路侧相机三维目标检测方法。
34、同时提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现本发明所述的基于地面约束的路侧相机三维目标检测方法。
35、与现有技术相比，本发明至少具有以下有益效果：本发明离线获取地面信息，充分挖掘场景信息，也拓宽模型的适用场景；首先在图像视角进行二维目标检测，保证了目标的召回率，具有较好的鲁棒性；利用路侧相机静止、路端场景固定的优势，离线获取地面方程，利用地面方程将二维检测框准确地投影到相机系中作为三维检测框的提议；本发明将二维目标检测结果作为三维的提议，极大地优化了bev特征的解码，提高了检测精度。本发明在bev视角进行三维目标检测，检测结果具有尺度一致性，可信度高；目标框的重叠少。
36、进一步的，以二维检测框的投影作为提议框，使用提议框裁剪bev特征，将每个提议对应的bev特征区域划分为pool_w*pool_h的网格，再对网格的每一份进行最大池化处理，保证所有提议框裁剪得到的特征都是pool_w*pool_h大小，实现了固定长度的特征输出。
1.一种基于地面约束的路侧相机三维目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于地面约束的路侧相机三维目标检测方法，其特征在于，地面方程的获取包括：
3.根据权利要求1所述的基于地面约束的路侧相机三维目标检测方法，其特征在于，所采用的二维骨干提取网络为resnet-50；所采用的二维目标检测器为ssd或其他基于卷积特征的二维目标检测器，单独训练二维目标检测器使其对图像中的目标达到99.5％的召回率；所采用的深度估计网络是depthnet网络，为每个图像特征估计d个离散的深度。
4.根据权利要求1所述的基于地面约束的路侧相机三维目标检测方法，其特征在于，使用地面方程将二维目标框投影到bev空间包括：先将二维目标框投影到相机坐标系中，再转换到地面坐标系中，二维目标框的左下角点和右下角点满足地面方程，相机系中地面上点满足：
5.根据权利要求1所述的基于地面约束的路侧相机三维目标检测方法，其特征在于，利用所述roi特征预测三维目标的信息，进行nms处理得到最终的三维目标检测结果包括：
6.根据权利要求1所述的基于地面约束的路侧相机三维目标检测方法，其特征在于，利用所述roi特征预测三维目标的信息，进行nms处理得到最终的三维目标检测结果包括推理得到三维目标的朝向角，具体如下：通过muti-bin的方式预测目标的朝向角，以目标的底面中心点为原点，将周围360度空间划分为多个bin，首先通过分类的方式预测朝向角落在哪个bin中，再预测目标在该bin中的偏移量，得到目标在地面坐标系中的朝向角。
7.根据权利要求1所述的基于地面约束的路侧相机三维目标检测方法，其特征在于，所述二维目标检测器的损失函数为：
8.基于地面约束的路侧相机三维目标检测系统，其特征在于，包括数据获取模块以及推理模块；
9.一种计算机设备，其特征在于，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取所述计算机可执行程序并执行，处理器执行计算可执行程序时能实现权利要求1～7中任一项所述基于地面约束的路侧相机三维目标检测方法。
10.一种计算机可读存储介质，其特征在于，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现如权利要求1～7中任一项所述的基于地面约束的路侧相机三维目标检测方法。
