本发明涉及机器视觉领域，特别涉及一种基于双编码器的引导式深度补全方法及终端。
背景技术：
1、汽车能够对周围场景中物体深度(距离)进行精确感知是实现安全决策的基础。现有技术中致力于实现智能驾驶汽车可以通过车载摄像头和激光雷达捕获车辆周围的场景信息进行思考判断，并在感知周围环境变化的时候做出安全的决策。如何从摄像头获取的图像信息和激光雷达获取的稀疏深度信息中得到精确、稠密的深度图是目前急需解决的问题。
2、随着卷积神经网络和大规模gpu计算的兴起，现代计算机视觉在深度学习领域取得了巨大的成功。卷积神经网络专注于处理空间局部信息，通过学习视觉表示来解决各种视觉任务，并已成为许多任务的标准方法。而vit作为一种新兴的表示学习方法逐渐崭露头角。相比于传统的卷积神经网络，vit可以更好地推断全局特征信息，从而在各种视觉识别任务中展现出广泛的性能。但由于vit是通过将图像块投影到向量中再经过网络处理的，这会导致局部信息的缺失，从而导致密集预测任务中忽略局部特征细节。
技术实现思路
1、本发明所要解决的技术问题是：提供一种基于双编码器的引导式深度补全方法及终端，解决图像局部信息被忽略的问题。
2、为了解决上述技术问题，本发明采用的技术方案为：
3、一种基于双编码器的引导式深度补全方法，包括步骤：
4、s1、利用双编码主干网络对rgb图像及稀疏深度图分别提取信息得到初步补全的深度图；
5、s2、利用空间传播网络对所述初步补全的深度图进行传播细化并输出稠密深度图。
6、为了解决上述技术问题，本发明采用的另一技术方案为：
7、一种基于双编码器的引导式深度补全终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时完成一种基于双编码器的引导式深度补全方法中的步骤。
8、本发明的有益效果至少包括：本发明提供一种基于双编码器的引导式深度补全方法及终端，通过双编码器结构，分别处理rgb图像和稀疏深度图，从而能够有效提取局部和全局特征信息，生成高精度的初步补全深度图，利用空间传播网络进一步细化，输出稠密深度图，实现了更精确的深度感知。
1.一种基于双编码器的引导式深度补全方法，其特征在于：包括步骤：
2.根据权利要求1所述的一种基于双编码器的引导式深度补全方法，其特征在于：所述双编码主干网络包括深度分支的特征提取器和rgb图像分支的特征提取器；所述深度分支的特征提取器设有残差块，所述rgb图像分支的特征提取器设有轻型自注意模块和残差块；
3.根据权利要求2所述的一种基于双编码器的引导式深度补全方法，其特征在于：所述利用所述rgb图像分支的特征提取器对所述rgb图像进行信息提取并输出rgb图像中的局部区域信息和全局结构信息具体包括步骤：
4.根据权利要求2所述的一种基于双编码器的引导式深度补全方法，其特征在于：所述轻型自注意模块包括局部感知单元，混合池化模块和反向残差前馈网络；
5.根据权利要求1所述的一种基于双编码器的引导式深度补全方法，其特征在于：所述步骤s2具体包括步骤：
6.根据权利要求5所述的一种基于双编码器的引导式深度补全方法，其特征在于：所述步骤s2还包括步骤：
7.根据权利要求6所述的一种基于双编码器的引导式深度补全方法，其特征在于：所述步骤s2还包括步骤：
8.根据权利要求1所述的一种基于双编码器的引导式深度补全方法，其特征在于：所述步骤s2之后还包括步骤s3：
9.根据权利要求8所述的一种基于双编码器的引导式深度补全方法，其特征在于：所述损失函数具体表示如下：
10.一种基于双编码器的引导式深度补全终端，其特征在于：包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时完成权利要求1-9中任一一种基于双编码器的引导式深度补全方法中的步骤。
