本公开涉及自主或半自主装置的领域,并且更具体地涉及补偿异构传感器阵列中的传感器缺陷。
背景技术:
1、本文中所提供的背景描述是出于总体上呈现本公开的上下文的目的。除非在本文中另有指示,否则本部分中描述的材料不是本申请中的权利要求的现有技术,并且不因为包含在本部分中而被承认为现有技术。
2、自主或半自主装置(诸如,自动驾驶汽车、无人驾驶飞行器(uav,也称为无人机)或机器人)可依赖于多模态的传感器集合来感知、绘制和跟踪周围环境。传感器可包括若干类型,诸如远距离雷达、中距离雷达前端、夜视相机、摄像机、后视相机、超声、中距离雷达后端等。每种类型的传感器可具有其自身的优点和缺陷。
3、自主或半自主装置使用的算法(诸如,道路检测算法、车道检测算法、交通信号灯检测算法等)可取决于适当地运行的传感器集合中的传感器的特定类型。由于此依赖性,如果传感器中的一个发生故障(例如,停止生成传感器数据),则与这些算法相关的自主或半自主装置的能力可能完全丧失。自主或半自主装置可被编程,以在此类情况下安全地停止或停靠。
技术实现思路
1.一种系统,包括:
2.如权利要求1所述的系统,其中所述处理电路还配置成用于执行物体的特征的融合以补偿所述传感器缺陷,所述特征的融合包括将从所述第一传感器数据检测到的特征与从所述第二传感器数据检测到的特征相组合。
3.如权利要求2所述的系统,其中所述物体的所述特征的融合是基于所述物理环境的空间表示的融合来执行的。
4.如权利要求3所述的系统,其中基于多次捕获到的所述物理环境的空间表示来执行所述物体的所述特征的融合。
5.如权利要求2所述的系统,其中,所述感知流水线使用相应的神经网络,并且其中从所述第一传感器数据检测到的特征和从所述第二传感器数据检测到的特征由相应的神经网络产生。
6.如权利要求2所述的系统,其中,所述处理电路还被配置成用于基于所述物体的所述特征的融合来执行所述物体的多模态物体检测。
7.如权利要求2所述的系统,其中,所述处理电路还被配置成用于基于所述物体的所述特征的融合来计算所述交通工具的一个或多个高级驾驶员辅助系统或自动驾驶系统的输出。
8.如权利要求1所述的系统,其中,所述多模态传感器阵列包括多个相机、雷达传感器、以及光检测与测距传感器。
9.如权利要求8所述的系统,其中所述感知流水线基于由所述多个相机、所述雷达传感器和所述光检测与测距传感器生成的传感器数据来检测相应的物体。
10.一种方法,包括:
11.如权利要求10所述的方法,还包括:
12.如权利要求11所述的方法,其中,所述物体的所述特征的融合是基于所述物理环境的空间表示的融合来执行的。
13.如权利要求12所述的方法,其中,所述物体的所述特征融合是基于多次捕获的所述物理环境的空间表示来执行的。
14.如权利要求11所述的方法,其中,所述感知流水线使用相应的神经网络,并且其中从所述第一传感器数据检测到的特征和从第二传感器数据检测到的特征由所述相应的神经网络产生。
15.如权利要求11所述的方法,还包括:
16.如权利要求11所述的方法,还包括:
17.如权利要求10所述的方法,其中所述多模态传感器阵列包括多个相机、雷达传感器和光检测与测距传感器。
18.如权利要求17所述的方法,其中所述感知流水线基于由所述多个相机、所述雷达传感器和所述光检测与测距传感器生成的传感器数据来检测相应的物体。
19.一种机器可读介质,包括指令,所述指令当由至少一个处理器执行时,使得处理器执行权利要求10至18中任一项所述的方法。
20.一种设备,包括用于执行权利要求10至18中任一项所述的方法的装置。
21.一种计算机程序产品,包括指令,所述指令当由至少一个处理器执行时,使得处理器执行权利要求10至18中任一项所述的方法。
