本公开涉及传感器数据(例如点云)的处理,特别涉及对象检测方法、对象检测所用神经网络的训练方法、相应的装置和存储介质。
背景技术:
1、目前,随着自动驾驶技术和移动机器人技术的发展,激光雷达设备在自动驾驶车辆和移动机器人上已经得到了广泛的应用。通常可以通过激光雷达采集周围环境的点云数据,对激光雷达采集的点云数据进行人工标注,以训练神经网络。神经网络是机器学习模型,其接收输入并采用一层或多层非线性单元来预测输出。一些神经网络除了输入层和输出层之外,还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中的下一层(即下一个隐藏层或输出层)的输入。网络的每一层接收输入并根据相应参数集合的当前值生成输出。训练好的神经网络可以用于自动驾驶车辆和移动机器人的路径规划、运动预测、碰撞避免等。
2、近年来,随着训练神经网络所需的数据量的增加,人工标注成本显着增加。人们越来越关注开发高性能离线对象检测技术,以用于数据自动标注。如何提高对象检测的准确性仍然是人们目前面对的一个挑战。
技术实现思路
1、本公开提供一种对象检测方法、相关神经网络的训练方法、相应的装置和存储介质。根据本公开提供的对象检测方法,可以有更准确的检测结果。根据本公开提供的神经网络的训练方法,可以训练用于对象检测的神经网络,这样训练的神经网络可以有更准确的检测结果。
2、本公开在一方面提供一种对象检测方法,包括:
3、获取表示环境的多帧点云;
4、利用所述多帧点云确定多个点的集合作为环境中对象的轨迹的表示;
5、对所述集合进行特征提取,为集合中的每个点生成相应的轨迹特征;
6、根据具有轨迹特征的所述集合,确定所述对象的表示。
7、本公开在另一方面提供一种神经网络的训练方法,包括:
8、处理表示环境的多帧点云,以获得环境中对象的多个初始表示的集合,所述集合是所述对象的轨迹的表示,所述多个初始表示中的每个初始表示对应于多个时间戳中的一个;
9、接收多个真值轨迹,每个真值轨迹包括至少一个真值对象表示,所述至少一个真值对象表示中的每个真值对象表示对应于所述多个时间戳中的一个;
10、确定所述对象的轨迹与所述多个真值轨迹中每个的交叠率;
11、针对所述多个初始表示中的每个初始表示,根据所述交叠率从所述多个真值轨迹的真值对象表示中选择一个真值对象表示作为该初始表示的目标真值对象表示。
12、本公开在另一方面提供一种用于对象检测的装置,包括:
13、处理器;和
14、存储程序的存储器,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行根据公开的对象检测方法。
15、本公开在另一方面提供一种用于训练神经网络的装置,包括:
16、处理器;和
17、存储程序的存储器,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行根据本公开的神经网络的训练方法。
18、本公开在另一方面提供一种存储有程序的计算机可读存储介质,所述程序包括指令,所述指令在由计算装置的一个或者多个处理器执行时,致使所述计算装置执行根据公开的对象检测方法和神经网络的训练方法。
19、本公开提供的对象检测方法,利用传感器在不同时间采集的关于其周期环境的数据(例如点云),确定对象轨迹的表示,从而提取轨迹特征,可以使得对象检测有准确的检测结果。本公开提供的神经网络(或机器学习模型)的训练方法,用传感器在不同时间采集的关于其周期环境的数据(例如点云),确定对象轨迹的表示,从而计算对象轨迹和真值轨迹的交叠率,可以使得训练的神经网络(或机器学习模型)有更准确的检测结果。对象检测和训练神经网络均以轨迹为中心,提高了结果的准确率。
1.一种对象检测方法,包括:
2.如权利要求1所述的方法,其中,所述表示是所述对象的细化表示,
3.如权利要求2所述的方法,其中,所述对象的多个初始表示包括所述对象的第一组初始表示和所述对象的第二组初始表示,
4.如权利要求3所述的方法,其中,所述多帧点云每帧均包括指示该帧点云被采集的时间的时间戳,
5.如权利要求4所述的方法,其中,所述对象的多个初始表示还包括所述对象的第三组初始表示,其中,处理所述多帧点云以获得所述对象的多个初始表示,还包括:
6.如权利要求2所述的方法,其中,所述多帧点云每帧均包括指示该帧点云被采集的时间的时间戳,
7.如权利要求2所述的方法,其中,所述对象是所述环境中的多个对象中的一个,
8.如权利要求2所述的方法,其中,所述多帧点云中的点由不同的坐标系下的坐标限定,
9.如权利要求2所述的方法,其中,所述多个点的集合至少包括:
10.如权利要求2所述的方法,其中,根据具有轨迹特征的所述集合,确定所述对象的表示包括:
11.如权利要求1所述的方法,其中,所述多帧点云每帧均包括指示该帧点云被采集的时间的时间戳,
12.一种神经网络的训练方法,包括:
13.如权利要求12所述的方法,其中,所述神经网络被配置为:
14.如权利要求12所述的方法,其中,针对所述多个初始表示中的每个初始表示,根据所述交叠率从所述多个真值轨迹的真值对象表示中选择一个真值对象表示作为该初始表示的目标真值对象表示,包括:
15.如权利要求14所述的方法,其中,针对所述多个初始表示中的每个初始表示,确定所述多个真值轨迹中在该初始表示对应的时间戳处具有真值对象表示的真值轨迹,包括;
16.如权利要求12所述的方法,其中,确定所述对象的轨迹与所述多个真值轨迹中每个的交叠率,包括:
17.如权利要求12所述的方法,还包括根据所述目标真值对象表示确定用于训练所述神经网络的损失函数。
18.一种用于对象检测的装置,包括:
19.一种用于训练神经网络的装置,包括:
20.一种存储有程序的计算机可读存储介质,所述程序包括指令,所述指令在由计算装置的一个或者多个处理器执行时,致使所述计算装置执行根据权利要求1-17中任一项所述的方法。
