本发明属于机器视觉，具体属于基于激光雷达和单目可见光相机的稠密三维重建方法及系统。
背景技术：
1、现有三维重建领域中，深度相机能直接获得待重建物体的深度信息，但受到工作原理限制，其工作效果极易受到环境光照的影响，严重影响三维重建精度和效果；单目可见光相机能够铺捉重建物体的色彩信息，但其成像原理导致相机无法直接获得物体的深度信息且容易受到光照影响；激光雷达能够直接获取周围环境的结构和深度，然而采集的数据较为稀疏，难以应用高层次的交互功能。
2、现有相关技术中的点云配准算法如特征法具有运算量较小，运行速度较快的优势，然而不适用于特征的描绘较为复杂的情况；而迭代最近法进行点云配准的精度较高，但是计算量大、耗时且容易产生误匹配。
技术实现思路
1、为了解决现有技术中存在的问题，本发明提供基于激光雷达和单目可见光相机的稠密三维重建方法及系统，用以解决现有相关技术中点云配准计算量大，以及计算效率低精度差的技术问题。
2、为实现上述目的，本发明提供如下技术方案：
3、基于激光雷达和单目可见光相机的稠密三维重建方法，包括以下步骤：
4、采集重建场景或物体的点云数据，以及彩色图像，并将所述采集的重建场景或物体的点云数据，以及彩色图像输入至统一坐标系内，得到三维点云数据，将三维点云数据转化为二维深度图像；
5、对所述二维深度图像进行自适应膨胀，得到稀疏的深度图像；采用深度逆变换的方式对稀疏的深度图像进行处理，得到稠密深度图；
6、将所述稠密深度图进行双边去噪，将所述彩色图像和双边去噪后的稠密深度图输入bisenetv2网络进行图像语义分割得到语义图像，将所述语义图像输入orbslam3算法中，筛选并剔除掉所述语义图像中的动态物体，得到每帧图像的位姿定位结果；
7、所述双边去噪后的稠密深度图基于反投影得到反投影三维点云，根据彩色图像的rgb图对反投影三维点云进行染色得到染色结果，并基于染色结果和位姿定位结果进行初步配准，获得稠密彩色三维点云。
8、进一步的，采用激光雷达采集重建场景或物体的点云数据，采用单目可见光相机采集彩色图像；并利用激光雷达和单目可见光相机之间的外参将采集的点云数据与彩色图像统一到相机坐标系，利用相机成像原理将相机坐标系下的三维点云转化为所述二维深度图像。
9、进一步的，所述采用深度逆变换的方式对稀疏的深度图像进行处理，得到稠密深度图的过程为：
10、采用自适应膨胀核对所述二维深度图像进行自适应膨胀；
11、所述自适应膨胀核的尺寸与逆深度值大小的关系为：
12、
13、式中，s(u,v)为稀疏深度图中像素(u,v)处所使用的自适应膨胀核的尺寸；
14、所述逆深度值大小为：
15、n(u,v)＝dmax-f(u,v)
16、其中，f(u,v)为稀疏深度图中像素(u,v)处对应的深度值，，n(u,v)为像素(u,v)处对应的逆深度值，dmax为有效深度值的上限，与激光雷达的工作距离相关。
17、进一步的，所述将所述彩色图像和双边去噪后的稠密深度图输入bisenetv2网络进行图像语义分割得到语义图像，将所述语义图像输入orbslam3算法中，筛选并剔除掉所述语义图像中的动态物体，得到每帧图像的位姿定位结果的过程为：
18、将所述彩色图像和双边去噪后的稠密深度图输入orbslam3算法中，orbslam3算法初始化成功的第一帧图像的相机坐标系作为世界坐标系；所述orbslam3算法根据剔除动态物体的特征点计算位姿定位结果，所述位姿定位结果为相邻两帧图像之间的变换矩阵；
19、所述利用bisenetv2网络进行图像语义分割得到语义图像；
20、根据语义图像获取待检测的潜在运动目标λi区域，针对环境中的物体不同类别目标λi潜在运动状态的差异，对语义图像中的不同类别建立了先验运动概率模型，并获得目标层面的区域运动概率；
21、采用几何方法对特征点进行筛选并统计目标λi区域内部动态特征点的比例若比例超过阈值ε(λi)则将对应的目标λi标记为动态物体。
22、进一步的，所述目标层面的区域运动概率为：
23、
24、式中，表示对应目标在行驶场景下运动的可能性；
25、所述不同类别目标对应的动态点比例阈值为：
26、
27、
28、
29、其中，ε(λi)表示潜在运动目标λi的动态点比例阈值，τ为环境动态因子，τ值默认设为1，对于高动态环境可以设定较小的τ值。
30、进一步的，所述基于染色结果和位姿定位结果进行初步配准时，配准结果统一到世界坐标系；
31、所述初步配准过程为：
32、假设所述反投影三维点云中有n帧点云u1，u2，u3。。。，un，其中un为当前帧点云，相邻点云帧之间的变换采用orbslam3计算的位姿定位结果分别为t12，t23，t34，·。。。t(n-1)n；
33、将点云u1作为目标点云u，利用t12，将u2配准到目标点云u，利用ndt算法进行优化，将优化后的配准结果作为新的目标点云u；
34、利用t23，将u3配准到目标点云u，利用ndt算法进行优化，将优化后的配准结果作为新的目标点云u，迭代此过程得到最终的稠密彩色三维点云。
35、进一步的，所述使用ndt算法对所述初步配准进行优化过程为：
36、对目标点云u进行空间离散化处理并将点云映射至对应的三维栅格中，分别计算每个栅格的正态分布参数即均值向量μ与协方差矩阵φ：
37、
38、式中，表示栅格内部的某一空间点，表示栅格内部的空间点个数；
39、基于初始位姿将当前点云帧变换至目标点云的栅格空间，若用表示变换后的点云，那么内任一点的概率密度函数可以表示如下：
40、
41、
42、
43、式中，表示空间维度，与分别表示对应栅格处的均值向量与协方差矩阵；
44、采用拟合度函数来衡量变换后的点云与目标点云的拟合程度，函数值越大代表两个点云间的距离越小，拟合程度就越高：
45、
46、
47、
48、将当前点云帧的位姿视作变量，引入代价函数：
49、
50、
51、通过非线性优化的方式对t进行反复迭代优化，直至代价函数小于给定阈值，此时视为寻找到了t的最优解，完成全局彩色点云的构建，得到稠密彩色三维点云。
52、基于激光雷达和单目可见光相机的稠密三维重建系统，包括：
53、预处理单元，被配置为：
54、用于采集重建场景或物体的点云数据，以及彩色图像，并将其同一到一个坐标系内，得到三维点云数据，将三维点云数据转化为二维深度图像；
55、第一处理单元，被配置为：
56、用于对所述二维深度图像进行自适应膨胀，得到对稀疏的深度图像；采用深度逆变换的方式对稀疏的深度图像进行处理，得到稠密深度图；
57、第二处理单元，被配置为：
58、用于将所述稠密深度图进行双边去噪，将所述彩色图像和双边去噪后的稠密深度图输入orbslam3算法中，并利用bisenetv2网络进行图像语义分割，筛选并剔除掉图像中的动态物体，计算每帧图像的位姿定位结果；
59、预处理单元，被配置为：
60、用于采集重建场景或物体的点云数据，以及彩色图像，并将所述采集的重建场景或物体的点云数据，以及彩色图像输入至统一坐标系内，得到三维点云数据，将三维点云数据转化为二维深度图像；
61、第一处理单元，被配置为：
62、用于对所述二维深度图像进行自适应膨胀，得到稀疏的深度图像；采用深度逆变换的方式对稀疏的深度图像进行处理，得到稠密深度图；
63、第二处理单元，被配置为：
64、用于将所述稠密深度图进行双边去噪，将所述彩色图像和双边去噪后的稠密深度图输入bisenetv2网络进行图像语义分割得到语义图像，将所述语义图像输入orbslam3算法中，筛选并剔除掉所述语义图像中的动态物体，得到每帧图像的位姿定位结果；
65、输出单元，被配置为：
66、用于所述双边去噪后的稠密深度图基于反投影得到反投影三维点云，根据彩色图像的rgb图对反投影三维点云进行染色得到染色结果，并基于染色结果和位姿定位结果进行初步配准，获得稠密彩色三维点云。
67、一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于激光雷达和单目可见光相机的稠密三维重建方法的步骤。
68、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述基于激光雷达和单目可见光相机的稠密三维重建方法的步骤。
69、与现有技术相比，本发明具有以下有益的技术效果：
70、本发明提供基于激光雷达和单目可见光相机的稠密三维重建方法及系统，包括以下步骤：采集重建场景或物体的点云数据，以及彩色图像，并将所述采集的重建场景或物体的点云数据，以及彩色图像输入至统一坐标系内，得到三维点云数据，将三维点云数据转化为二维深度图像；对所述二维深度图像进行自适应膨胀，得到稀疏的深度图像；采用深度逆变换的方式对稀疏的深度图像进行处理，得到稠密深度图；将所述稠密深度图进行双边去噪，将所述彩色图像和双边去噪后的稠密深度图输入bisenetv2网络进行图像语义分割得到语义图像，将所述语义图像输入orbslam3算法中，筛选并剔除掉所述语义图像中的动态物体，得到每帧图像的位姿定位结果；所述双边去噪后的稠密深度图基于反投影得到反投影三维点云，根据彩色图像的rgb图对反投影三维点云进行染色得到染色结果，并基于染色结果和位姿定位结果进行初步配准，获得稠密彩色三维点云；本技术有效降了低重建环境中动态物体的干扰，具有较高的精度和鲁棒性，同时，重建的三维点云更加稠密并且包含语义信息，增强了对重建场景的信息表达能力。
1.基于激光雷达和单目可见光相机的稠密三维重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于激光雷达和单目可见光相机的稠密三维重建方法，其特征在于，采用激光雷达采集重建场景或物体的点云数据，采用单目可见光相机采集彩色图像；并利用激光雷达和单目可见光相机之间的外参将采集的点云数据与彩色图像统一到相机坐标系，利用相机成像原理将相机坐标系下的三维点云转化为所述二维深度图像。
3.根据权利要求1所述的基于激光雷达和单目可见光相机的稠密三维重建方法，其特征在于，所述采用深度逆变换的方式对稀疏的深度图像进行处理，得到稠密深度图的过程为：
4.根据权利要求1所述的基于激光雷达和单目可见光相机的稠密三维重建方法，其特征在于，所述将所述彩色图像和双边去噪后的稠密深度图输入bisenetv2网络进行图像语义分割得到语义图像，将所述语义图像输入orbslam3算法中，筛选并剔除掉所述语义图像中的动态物体，得到每帧图像的位姿定位结果的过程为：
5.根据权利要求4所述的基于激光雷达和单目可见光相机的稠密三维重建方法，其特征在于，所述目标层面的区域运动概率为：
6.根据权利要求1所述的基于激光雷达和单目可见光相机的稠密三维重建方法，其特征在于，所述基于染色结果和位姿定位结果进行初步配准时，配准结果统一到世界坐标系；
7.根据权利要求6所述的基于激光雷达和单目可见光相机的稠密三维重建方法，其特征在于，所述使用ndt算法对所述初步配准进行优化过程为：
8.基于激光雷达和单目可见光相机的稠密三维重建系统，其特征在于，基于权利要求1-7任一项所述基于激光雷达和单目可见光相机的稠密三维重建方法，包括：
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述基于激光雷达和单目可见光相机的稠密三维重建方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述基于激光雷达和单目可见光相机的稠密三维重建方法的步骤。
