一种目标物感知方法、装置、设备及介质与流程

allin2026-09-13  4


本发明涉及目标检测领域,特别涉及一种目标物感知方法、装置、设备及介质。


背景技术:

1、目前,智能前视摄像机在驾驶辅助领域中应用十分广泛,可以为终端用户提供诸如自适应巡航、主动刹车、车道保持等驾驶辅助功能。其中,对于前视摄像机的感知方案,一种是在图像层间进行二维物体识别,然后转换到三维世界空间进行相应的后处理,从而得到目标物的三维位置信息;一种是在图像层间直接进行三维物体识别,以直接预测出目标物的三维位置信息。

2、但是对于前述的两种感知方案,目标物的三维位置信息都是来自单一的感知模式,缺乏感知冗余度,也即,当感知模式出现误检时,没有冗余信息能够用于规避这些误检,最终造成驾驶辅助功能的异常表现。并且,当前的感知方案多是采用摄像头和雷达等多种传感器的结合在图像层间实现物体识别,其所需的硬件成本是比较高的。


技术实现思路

1、有鉴于此,本发明的目的在于提供一种目标物感知方法、装置、设备及介质,能够在单独采用车载单目相机的情况下,对较小检测距离内的多种来源的目标物感知信息进行融合,从而在保证目标物检测精度的同时,提高对目标物的感知准确度,以及降低目标物感知所需的成本。其具体方案如下:

2、第一方面,本技术提供了一种目标物感知方法,包括:

3、利用二维感知模型对车载单目相机的当前获取图像进行目标物检测,以得到各第一目标物的第一感知信息,并利用三维感知模型对所述当前获取图像进行目标物检测,以得到各第二目标物的第二感知信息;

4、在所述三维感知模型对应的第一检测距离小于所述二维感知模型对应的第二检测距离时,从各所述第一目标物中确定满足第一预设条件的第一待融合目标物;所述第一预设条件为目标物相对于自车在自车车头方向上的距离不大于所述第一检测距离;

5、基于所述第一待融合目标物从各所述第二目标物中确定相应的第二待融合目标物,并基于所述第一待融合目标物和所述第二待融合目标物分别对应的感知信息融合得到最终感知信息;所述第二待融合目标物和所述第一待融合目标物属于同一目标物。

6、可选的,所述利用二维感知模型对车载单目相机的当前获取图像进行目标物检测,以得到各第一目标物的第一感知信息,包括:

7、利用二维感知模型对所述当前获取图像进行目标物检测,以得到对各第一目标物的当前时刻检测框,并对各所述当前时刻检测框和各当前时刻跟踪框进行关联匹配,以得到第一关联匹配结果;所述当前时刻跟踪框为基于所述二维感知模型对目标物在前一时刻的跟踪框进行预测得到的跟踪框;其中,所述二维感知模型对目标物在第一时刻的跟踪框为基于所述二维感知模型对目标物在第一时刻的检测框确定的跟踪框;

8、利用所述第一关联匹配结果并基于所述当前时刻检测框对相应的所述当前时刻跟踪框进行更新,并基于更新后的所述当前时刻跟踪框确定相应的所述第一目标物的第一感知信息。

9、可选的,所述对各所述当前时刻检测框和各当前时刻跟踪框进行关联匹配,以得到第一关联匹配结果,包括:

10、基于各所述当前时刻检测框分别与各所述当前时刻跟踪框之间的第一代价值确定第一代价矩阵,利用匈牙利算法并基于所述第一代价矩阵对各所述当前时刻检测框和各所述当前时刻跟踪框进行关联匹配,以得到第一关联匹配结果;

11、其中,所述第一代价值为基于第一相似度以及所述当前时刻检测框和所述当前时刻跟踪框之间的交并比确定的数值,所述第一相似度为所述当前时刻检测框对应的目标物和所述当前时刻跟踪框对应的目标物之间的相似度。

12、可选的,所述基于更新后的所述当前时刻跟踪框确定相应的所述第一目标物的第一感知信息,包括:

13、将更新后的所述当前时刻跟踪框的底部中心点的二维坐标转换为世界坐标,以得到所述第一目标物在当前时刻的目标位置信息;

14、利用卡尔曼滤波器并基于所述目标位置信息确定所述第一目标物在当前时刻的目标速度信息,并基于所述目标位置信息和所述目标速度信息确定所述第一目标物的第一感知信息。

15、可选的,所述利用卡尔曼滤波器并基于所述目标位置信息确定所述第一目标物在当前时刻的目标速度信息,包括:

16、将所述目标位置信息输入至卡尔曼滤波器,以基于初始速度信息和所述目标位置信息确定所述第一目标物在当前时刻的目标速度信息;

17、其中,所述初始速度信息包括初始横向速度和初始纵向速度;所述初始纵向速度为在自车车头方向上的速度,所述初始横向速度为在所述自车车头方向的垂直方向上的速度;

18、所述初始横向速度为基于所述二维感知模型前n帧检测到的所述第一目标物的横向位置信息确定的速度;n为大于1的正整数;

19、所述初始纵向速度为基于尺度变化率以及所述二维感知模型第n帧检测到的所述第一目标物的纵向位置信息确定的速度;所述尺度变化率为基于所述二维感知模型前n帧对所述第一目标物的跟踪框的高度计算得到的数值;所述横向位置信息和所述纵向位置信息均为在世界坐标系下的位置信息。

20、可选的,所述利用三维感知模型对所述当前获取图像进行目标物检测,以得到各第二目标物的第二感知信息,包括:

21、利用三维感知模型对所述当前获取图像进行目标物检测,以得到各第二目标物的当前时刻检测量,并对各所述当前时刻检测量和各当前时刻跟踪量进行关联匹配,以得到第二关联匹配结果;所述当前时刻跟踪量为基于所述三维感知模型对目标物在前一时刻的跟踪量进行预测得到的跟踪量;其中,所述三维感知模型对目标物在第一时刻的跟踪量为基于所述三维感知模型对目标物在第一时刻的检测量确定的跟踪量;

22、将各所述当前时刻检测量和各所述当前时刻跟踪量输入至卡尔曼滤波器,以利用所述第二关联匹配结果并基于所述当前时刻检测量对相应的所述当前时刻跟踪量进行更新,并基于更新后的所述当前时刻跟踪量确定相应的所述第二目标物的第二感知信息。

23、可选的,所述对各所述当前时刻检测量和各当前时刻跟踪量进行关联匹配,以得到第二关联匹配结果,包括:

24、基于各所述当前时刻检测量分别与各所述当前时刻跟踪量之间的第二代价值确定第二代价矩阵,利用匈牙利算法并基于所述第二代价矩阵对各所述当前时刻检测量和各所述当前时刻跟踪量进行关联匹配,以得到第二关联匹配结果;

25、其中,所述第二代价值为基于所述当前时刻检测量对应的目标物和所述当前时刻跟踪量对应的目标物之间的距离和第二相似度确定的数值。

26、可选的,所述基于更新后的所述当前时刻跟踪量确定相应的所述第二目标物的第二感知信息,包括:

27、基于更新后的所述当前时刻跟踪量中的当前位置信息求解所述第二目标物在当前时刻的目标速度信息;

28、若所述卡尔曼滤波器中对所述目标速度信息求解时的协方差小于预设数值,则基于所述当前位置信息和所述目标速度信息确定所述第二目标物的第二感知信息;

29、若所述卡尔曼滤波器中对所述目标速度信息求解时的协方差不小于预设数值,则基于与当前时刻相邻的预设历史时间段内的所述第二目标物的历史位置信息确定当前时刻速度信息,以基于所述当前位置信息和所述当前时刻速度信息确定所述第二目标物的第二感知信息;

30、其中,所述当前位置信息和所述历史位置信息均为在世界坐标系下的位置信息。

31、可选的,所述基于与当前时刻相邻的预设历史时间段内的所述第二目标物的历史位置信息确定当前时刻速度信息,包括:

32、基于所述预设历史时间段内每一时刻的自车位置信息确定自车相对于参考坐标系原点的运动向量和旋转矩阵;其中,所述参考坐标系为所述三维感知模型第一次检测到所述第二目标物时的自车坐标系,所述自车位置信息为自车在所述世界坐标系下的位置信息;

33、基于每一时刻的所述运动向量和所述旋转矩阵将所述第二目标物在相应时刻的所述历史位置信息转换为所述参考坐标系下的参考位置信息,并基于各所述参考位置信息确定所述第二目标物的当前时刻速度信息。

34、可选的,所述基于所述第一待融合目标物从各所述第二目标物中确定相应的第二待融合目标物,包括:

35、基于所述二维感知模型对所述第一待融合目标物的检测框确定所述第一待融合目标物相对于自车所形成的夹角,以得到目标角度范围;

36、基于所述目标角度范围从各所述第二目标物中确定出满足第二预设条件的所述第二待融合目标物;所述第二预设条件为所述第二目标物与所述第一待融合目标物之间的距离小于预设距离阈值。

37、第二方面,本技术提供了一种目标物感知装置,包括:

38、目标物检测模块,用于利用二维感知模型对车载单目相机的当前获取图像进行目标物检测,以得到各第一目标物的第一感知信息,并利用三维感知模型对所述当前获取图像进行目标物检测,以得到各第二目标物的第二感知信息;

39、目标物确定模块,用于在所述三维感知模型对应的第一检测距离小于所述二维感知模型对应的第二检测距离时,从各所述第一目标物中确定满足第一预设条件的第一待融合目标物;所述第一预设条件为目标物相对于自车在自车车头方向上的距离不大于所述第一检测距离;

40、目标物融合模块,用于基于所述第一待融合目标物从各所述第二目标物中确定相应的第二待融合目标物,并基于所述第一待融合目标物和所述第二待融合目标物分别对应的感知信息融合得到最终感知信息;所述第二待融合目标物和所述第一待融合目标物属于同一目标物。

41、第三方面,本技术提供了一种电子设备,包括:

42、存储器,用于保存计算机程序;

43、处理器,用于执行所述计算机程序以实现前述的目标物感知方法。

44、第四方面,本技术提供了一种计算机可读存储介质,用于保存计算机程序,所述计算机程序被处理器执行时实现前述的目标物感知方法。

45、本技术中,利用二维感知模型对车载单目相机的当前获取图像进行目标物检测,以得到各第一目标物的第一感知信息,并利用三维感知模型对所述当前获取图像进行目标物检测,以得到各第二目标物的第二感知信息;在所述三维感知模型对应的第一检测距离小于所述二维感知模型对应的第二检测距离时,从各所述第一目标物中确定满足第一预设条件的第一待融合目标物;所述第一预设条件为目标物相对于自车在自车车头方向上的距离不大于所述第一检测距离;基于所述第一待融合目标物从各所述第二目标物中确定相应的第二待融合目标物,并基于所述第一待融合目标物和所述第二待融合目标物分别对应的感知信息融合得到最终感知信息;所述第二待融合目标物和所述第一待融合目标物属于同一目标物。由此可见,本技术通过二维感知模型和三维感知模型分别对车载单目相机的当前获取图像进行目标物检测,并通过融合两种检测所得的目标物的感知信息,以得到目标物的最终融合感知信息,这样一来,本技术通过单独采用车载单目相机便可以得到多种来源的目标物感知信息,相比于结合多种传感器实现目标物感知,不仅降低了目标物感知所需的成本,而且提高了目标物感知信息获取的可靠性和准确度。并且,本技术通过设置二维感知模型和三维感知模型分别对应的检测距离,由于感知模型在相应检测距离内的目标物检测精度较高,因此通过对较小检测距离内的多种来源的目标物感知信息进行融合,从而在保证目标物检测精度的同时,提高对目标物的感知准确度。


技术特征:

1.一种目标物感知方法,其特征在于,包括:

2.根据权利要求1所述的目标物感知方法,其特征在于,所述利用二维感知模型对车载单目相机的当前获取图像进行目标物检测,以得到各第一目标物的第一感知信息,包括:

3.根据权利要求2所述的目标物感知方法,其特征在于,所述对各所述当前时刻检测框和各当前时刻跟踪框进行关联匹配,以得到第一关联匹配结果,包括:

4.根据权利要求2所述的目标物感知方法,其特征在于,所述基于更新后的所述当前时刻跟踪框确定相应的所述第一目标物的第一感知信息,包括:

5.根据权利要求4所述的目标物感知方法,其特征在于,所述利用卡尔曼滤波器并基于所述目标位置信息确定所述第一目标物在当前时刻的目标速度信息,包括:

6.根据权利要求1所述的目标物感知方法,其特征在于,所述利用三维感知模型对所述当前获取图像进行目标物检测,以得到各第二目标物的第二感知信息,包括:

7.根据权利要求6所述的目标物感知方法,其特征在于,所述对各所述当前时刻检测量和各当前时刻跟踪量进行关联匹配,以得到第二关联匹配结果,包括:

8.根据权利要求6所述的目标物感知方法,其特征在于,所述基于更新后的所述当前时刻跟踪量确定相应的所述第二目标物的第二感知信息,包括:

9.根据权利要求8所述的目标物感知方法,其特征在于,所述基于与当前时刻相邻的预设历史时间段内的所述第二目标物的历史位置信息确定当前时刻速度信息,包括:

10.根据权利要求1至9任一项所述的目标物感知方法,其特征在于,所述基于所述第一待融合目标物从各所述第二目标物中确定相应的第二待融合目标物,包括:

11.一种目标物感知装置,其特征在于,包括:

12.一种电子设备,其特征在于,包括:

13.一种计算机可读存储介质,其特征在于,用于保存计算机程序,所述计算机程序被处理器执行时实现如权利要求1至10任一项所述的目标物感知方法。


技术总结
本申请公开了一种目标物感知方法、装置、设备及介质,涉及目标检测领域,包括:利用二维感知模型和三维感知模型分别对车载单目相机的当前获取图像进行目标物检测,以得到相应的各第一目标物的第一感知信息和各第二目标物的第二感知信息;在三维感知模型的第一检测距离小于二维感知模型的第二检测距离时,从各第一目标物中确定出在第一检测距离内的第一待融合目标物,并从各第二目标物中确定出属于同一目标物的第二待融合目标物,基于第一待融合目标物和第二待融合目标物分别对应的感知信息融合得到最终感知信息。本申请通过对较小检测距离内的多种来源的目标物感知信息进行融合,从而在保证检测精度的情况下,提高对目标物的感知准确度。

技术研发人员:关挺,李豪文,陶维,徐浩,卢玉坤
受保护的技术使用者:知行汽车科技(苏州)股份有限公司
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-31131.html

最新回复(0)