特征匹配方法、装置和无人车与流程

allin2023-04-10  114



1.本公开涉及计算机视觉技术领域,特别涉及无人驾驶领域,尤其涉及一种特征匹配方法、装置和无人车。


背景技术:

2.在无人驾驶领域,特征匹配任务是一项基础任务。例如,在对红绿灯进行检测、定位时,需要将摄像头采集的红绿灯的图像数据与地图中提取的红绿灯的点云数据进行特征匹配。
3.目前,特征匹配算法以稠密点云匹配算法为主,比如网格运动统计(gms)或向量场一致(vfc)等算法。这类匹配算法依赖于稠密点云较完善的特征分布,能够实现较好的特征匹配效果。而如果将这类匹配算法应用于稀疏点云匹配场景,比如,图像检测红绿灯与地图投影红绿灯间的匹配任务,则会由于稀疏点云的特征点数较少、且表述特征有限等因素的影响,而无法实现较好的特征匹配效果。
4.相关技术中,在进行稀疏特征点匹配时,使用带权二分图最优匹配算法,比如km算法。在该场景中,由于依然存在干扰点,所以若使用这类算法,会使得干扰点被错误匹配。使用限定距离结合km算法,能够排除距离相对较远的匹配点,但是依然无法解决由于干扰点距离待匹配点较近、特征点集存在异常、匹配偏差等因素造成的错误匹配问题。


技术实现要素:

5.本公开要解决的一个技术问题是,提供一种解决方案,能够提高稀疏特征点的匹配效果,降低匹配错误率。
6.根据本公开的第一方面,提出一种特征匹配方法,包括:以目标的第一特征点集中的每个特征点为基准点,根据所述基准点,与其在所述目标的第二特征点集中的候选匹配点之间的位置偏差,构建基准偏差补偿向量;根据所述基准偏差补偿向量,对所述第一特征点集中的其他特征点进行偏差补偿;确定所述偏差补偿后的特征点在所述第二特征点集中的候选匹配点,以得到多个候选匹配点集;根据第一特征点集和所述多个候选匹配点集,确定所述第一特征点集和第二特征点集的最优特征匹配结果。
7.在一些实施例中,根据第一特征点集和所述多个候选匹配点集,确定所述第一特征点集和第二特征点集的最优特征匹配结果包括:根据第一特征点集和所述多个候选匹配点集构建多个二分图;基于二分图匹配算法,确定各个二分图对应的最佳完备匹配结果;在所述各个二分图对应的最佳完备匹配结果中,确定第一特征点集和第二特征点集的最优特征匹配结果。
8.在一些实施例中,构建偏差补偿向量还包括:以所述基准点为中心、在所述基准点对应的最大搜索距离范围内搜索所述第二特征点集中的特征点,并将搜索到的特征点作为所述基准点在第二特征点集中的候选匹配点。
9.在一些实施例中,构建基准偏差补偿向量还包括:根据基准点对应的深度信息,确
定所述基准点对应的最大搜索距离。
10.在一些实施例中,根据所述基准偏差补偿向量对所述第一特征点集中的其他特征点进行偏差补偿包括:根据第一特征点集中的其他特征点与所述基准点的深度信息之间的关系、以及所述基准偏差补偿向量,确定所述其他特征点对应的动态偏差补偿向量;根据所述动态偏差补偿向量,对所述其他特征点进行偏差补偿,以得到偏差补偿后的特征点。
11.在一些实施例中,确定所述偏差补偿后的特征点在所述第二特征点集中的候选匹配点包括:根据所述偏差补偿后的特征点对应的深度信息,确定所述偏差补偿后的特征点对应的最大搜索距离;以所述偏差补偿后的特征点为中心,在对应的最大搜索距离范围内搜索第二特征点集中的特征点,并将搜索到的特征点作为所述偏差补偿后的特征点对应的候选匹配点。
12.在一些实施例中,基于二分图匹配算法,确定各个二分图对应的最佳完备匹配结果包括:对于每个二分图,根据所述二分图对应的偏差补偿后的特征点与其候选匹配点之间的距离,确定所述二分图中各条边的匹配权重;将匹配权重之和最小的完备匹配作为所述二分图对应的最佳完备匹配结果。
13.在一些实施例中,根据偏差补偿后的特征点与其候选匹配点之间的距离,确定所述二分图中各条边的匹配权重包括:根据所述二分图对应的偏差补偿后的特征点与其候选匹配点之间的距离、以及权重调整参数,确定所述二分图中各条边的匹配权重,其中,所述权重调整参数是根据所述特征点对应的深度信息确定的。
14.在一些实施例中,在所述各个二分图对应的最佳完备匹配结果中,确定第一特征点集和第二特征点集的最优特征匹配结果包括:根据匹配精确度和匹配完备性指标,确定各个二分图对应的最佳完备匹配结果的评分;根据所述评分,从所述各个二分图对应的最佳完备匹配结果中选取最优的特征匹配结果。
15.在一些实施例中,根据匹配精确度和匹配完备性指标,确定各个二分图对应的最佳完备匹配结果的评分包括:对于每个二分图对应的最佳完备匹配结果,计算所述最佳完备匹配结果中对应的各个偏差补偿后的特征点的最大搜索距离之和,并将其作为第一参数值;计算所述最佳完备匹配结果中对应的各个偏差补偿后的特征点与其匹配点之间的距离之和,并将其作为第二参数值;根据所述第一参数值和所述第二参数值,确定所述匹配精确度指标,其中,所述匹配精确度指标与所述第一参数值呈正相关,所述匹配精确度指标与所述第二参数值呈负相关。
16.在一些实施例中,根据匹配精确度和匹配完备性指标,确定各个二分图对应的最佳完备匹配结果的评分包括:对于每个二分图对应的最佳完备匹配结果,计算第二特征点集在所述最佳完备匹配结果中成功匹配的特征点个数,并将其作为第四参数值;将第一特征点集的特征点数和第二特征点集中的特征点数的最大值作为第五参数值;根据第四参数值和第五参数值,确定所述匹配完备性指标,其中,所述匹配完备性指标与第四参数值呈正相关,所述匹配完备性指标与所述第五参数值呈负相关。
17.在一些实施例中,根据匹配精确度和匹配完备性指标,确定各个二分图对应的最佳完备匹配结果的评分包括:根据匹配精确度和匹配完备性指标计算各个二分图对应的最佳完备匹配结果的f分数;根据所述f分数,确定各个二分图对应的最佳完备匹配结果的评分。
18.在一些实施例中,根据所述f分数,确定各个二分图对应的最佳完备匹配结果的评分包括:根据所述f分数,以及匹配惩罚项和匹配奖励项中的至少一项,确定所述最佳完备匹配结果的评分,其中,所述匹配惩罚项是根据匹配结果中第一特征点集的整体偏差情况设置的,所述匹配奖励项是根据匹配结果中第二特征点集成功匹配的特征点的匹配优先级设置的。
19.在一些实施例中,还包括:获取目标的第一来源和第二来源数据;根据所述第一来源数据确定目标的第一特征点集,根据所述第二来源数据确定所述目标的第二特征点集。
20.在一些实施例中,目标的第一来源数据为地图,目标的第二来源数据为相机拍摄的图像。
21.在一些实施例中,目标的第一来源的特征数据为地图中固有的目标的特征数据,目标的第二来源的特征数据为在相机拍摄的图像中检测到的所述目标的特征数据。
22.根据本公开的第二方面,提出一种特征匹配装置,包括:构建模块,被配置为以目标的第一特征点集中的每个特征点为基准点,根据所述基准点,与其在所述目标的第二特征点集中的候选匹配点之间的位置偏差,构建基准偏差补偿向量;偏差补偿模块,被配置为根据所述基准偏差补偿向量,对所述第一特征点集中的其他特征点进行偏差补偿;第一确定模块,被配置为确定所述偏差补偿后的特征点在所述第二特征点集中的候选匹配点,以得到多个候选匹配点集;第二确定模块,被配置为根据第一特征点集和所述多个候选匹配点集,确定所述第一特征点集和第二特征点集的最优特征匹配结果。
23.根据本公开的第三方面,还提出一种特征匹配装置,包括:存储器;以及耦接至存储器的处理器,处理器被配置为基于存储在存储器的指令执行如上述的特征匹配方法。
24.根据本公开的第四方面,还提出一种计算机可读存储介质,其上存储有计算机程序指令,该指令被处理器执行时实现上述的特征匹配方法。
25.根据本公开的第五方面,提出一种无人车,包括上述的特征匹配装置。
26.与相关技术相比,本公开实施例中,通过以目标的第一特征点集中的每个特征点为基准点,构建基准偏差补偿向量,根据基准偏差补偿向量,对第一特征点集中的其他特征点进行偏差补偿,确定偏差补偿后的特征点在第二特征点集中的候选匹配点,以得到多个候选匹配点集,根据第一特征点集和多个候选匹配点集确定第一特征点集和第二特征点集的最优特征匹配结果这些步骤,能够提高稀疏特征点的匹配效果,降低错误匹配率,有效解决由于干扰点距离待匹配点较近、特征点集存在异常、匹配偏差等因素造成的错误匹配问题。进而,有助于提高目标检测、定位精度,提高无人驾驶场景下的人车安全性,降低无人驾驶场景下的事故率。
27.通过以下参照附图对本公开的示例性实施例的详细描述,本公开的其它特征及其优点将会变得清楚。
附图说明
28.构成说明书的一部分的附图描述了本公开的实施例,并且连同说明书一起用于解释本公开的原理。
29.参照附图,根据下面的详细描述,可以更加清楚地理解本公开,其中:
30.图1为根据本公开一些实施例的特征匹配方法的流程示意图。
31.图2为根据本公开一些实施例的对特征点进行偏差补偿的流程示意图。
32.图3为根据本公开一些实施例的确定候选匹配点集的流程示意图。
33.图4为根据本公开一些实施例的确定最优特征匹配结果的流程示意图。
34.图5a为根据本公开另一些实施例的特征匹配方法的流程示意图。
35.图5b为根据本公开一些实施例的特征匹配方法与相关技术的特征匹配方法的效果对比示意图。
36.图6为根据本公开一些实施例的特征匹配装置的结构示意图。
37.图7为根据本公开另一些实施例的特征匹配装置的结构示意图。
38.图8为根据本公开一些实施例的计算机系统的结构示意图。
39.图9为根据本公开一些实施例中的无人车的结构示意图。
具体实施方式
40.现在将参照附图来详细描述本公开的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
41.同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
42.以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
43.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。
44.在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。
45.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
46.为使本公开的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本公开进一步详细说明。
47.图1为根据本公开一些实施例的特征匹配方法的流程示意图。如图1所示,该方法包括:
48.步骤s110:以目标的第一特征点集中的每个特征点为基准点,根据基准点与其在该目标的第二特征点集中的候选匹配点之间的位置偏差,构建基准偏差补偿向量。
49.其中,目标的第一特征点集和第二特征点集中的构成元素可以为位置坐标点。比如,当目标为红绿灯时,特征点集由红绿灯的位置坐标点构成。
50.在一些实施例中,根据如下方式得到目标的第一特征点集和第二特征点集:获取目标的第一来源和第二来源数据;根据所述第一来源数据确定目标的第一特征点集,根据所述第二来源数据确定目标的第二特征点集。
51.比如,当目标的第一来源数据为地图、目标的第二来源数据为相机拍摄的图像时,从地图中提取目标的点云数据,并将目标的点云数据投影到图像中,以得到目标的第一特征点集,从相机拍摄的图像中检测出目标,以得到目标的第二特征点集。
52.又比如,当目标的第一来源数据和第二来源数据为相机拍摄的两幅图像,从两幅图像中分别检测出目标,以得到目标的第一特征点集和第二特征点集。
53.在步骤s110中,以目标的第一特征点集中的每个特征点为基准点,确定其在第二特征点集中的候选匹配点,然后,根据基准点与其候选匹配点之间的位置偏差,构建基准偏差补偿向量。
54.例如,假设目标的第一特征点集由点a1、b1、c1、以及d1构成,目标的第二特征点集由点a2、b2、c2、d2、e2、以及f2构成,以a1为基准点,确定其在第二特征点集中的候选匹配点为a2,根据点a1与点a2之间的位置偏差确定偏差补偿向量l1,类似地,分别以b1、c1、d1为基准点,确定偏差补偿向量l2、l3、l4,从而得到多个偏差补偿向量。
55.在一些实施例中,根据如下方式确定基准点在第二特征点集中的候选匹配点:以基准点为中心,在该基准点对应的最大搜索距离范围内搜索第二特征点集中的特征点,并将搜索到的特征点作为基准点的候选匹配点。通过限定基准点对应的最大搜索距离,能够排除错误干扰点的影响,提高确定的基准点的候选匹配点的准确率。
56.在一些实施例中,根据如下方式确定基准点对应的最大搜索距离:根据基准点对应的深度信息,确定基准点对应的最大搜索距离。其中,深度信息反映了目标的特征点与观测设备(比如相机)之间的距离的远近。在该实施例中,可根据基准点的深度信息的不同,设置不同的最大搜索距离。比如,可设置一个现实世界中允许的第一偏差阈值δd1,然后,根据基准点的深度信息和相机参数、以及第一偏差阈值δd1,确定基准点对应的最大搜索距离。
57.通过上述处理,能够针对不同深度的基准点设置不同的最大搜索距离,有效解决由于投影深度不一致目标特征点的整体偏差并非线性一致的问题,相比于针对所有基准点设置相同的最大搜索距离的方式,能够在搜索基准点的候选匹配点时更好地排除错误干扰点的影响,进一步提高特征匹配准确率。
58.步骤s130:根据基准偏差补偿向量,对第一特征点集中的其他特征点进行偏差补偿。
59.其中,第一特征点集中的其他特征点是相对于基准点或者说基准偏差补偿向量而言的。在基准点不同时,第一特征点集中的其他特征点也不同。
60.比如,假设目标的第一特征点集由点a1、b1、c1、以及d1构成,在根据基准点a1确定的偏差补偿向量为l1进行偏差补偿时,第一特征点集中的其他特征点具体为b1、c1、以及d1,根据偏差补偿向量l1对这三个特征点分别进行偏差补偿,可得到偏差补偿后的特征点b1

、c1

和d1

;在根据基准点b1确定的偏差补偿向量l2进行偏差补偿时,第一特征点集中的其他特征点具体为a1、c1、以及d1,根据偏差补偿向量l2对这三个特征点分别进行偏差补偿,可得到偏差补偿后的特征点a1

、c1

和d1


61.在步骤s130中,通过根据基准偏差补偿向量对第一特征点集中的其他特征点进行偏差补偿,能够得到偏差补偿后的特征点,后续基于偏差补偿后的特征点进行特征匹配,能够有效解决由于匹配偏差造成的错误匹配问题。
62.步骤s150:确定偏差补偿后的特征点在第二特征点集中的候选匹配点,以得到多个候选匹配点集。
63.在本公开实施例中,存在多个由第一特征点集中除基准点之外的其他特征点构成
的集合,在针对这些集合中的特征点进行偏差补偿、寻找候选匹配点操作后,得到了多个候选匹配点集。
64.在一些实施例中,候选匹配点集中不包括基准点的候选匹配点。在这些实施例中,将第一特征点集中除基准点之外的其他特征点对应的候选匹配点组成的集合,作为一个候选匹配点集。例如,假设目标的第一特征点集由点a1、b1、c1、以及d1构成,以a1为基准点时,第一特征点集中除基准点之外的其他特征点为b1、c1、以及d1,其对应的候选匹配点集为集合1,以b1为基准点,第一特征点集中除基准点之外的其他特征点为a1、c1、以及d1,其对应的候选匹配点集为集合2,以c1为基准点,第一特征点集中除基准点之外的其他特征点为a1、b1、以及d1,其对应的候选匹配点集为集合3,以d1为基准点,第一特征点集中除基准点之外的其他特征点为a1、b1、以及c1,其对应的候选匹配点集为集合4。
65.在另一些实施例中,候选匹配点集中包括基准点的候选匹配点。在这些实施例中,将基准点的候选匹配点、以及第一特征点集中除基准点之外的其他特征点的候选匹配点组成的集合,作为一个候选匹配点集,从而可得到多个候选匹配点集。
66.步骤s170:根据第一特征点集和多个候选匹配点集,确定第一特征点集和第二特征点集的最优特征匹配结果。
67.在从第二特征点集中确定了多个候选匹配点集之后,基于第一特征点集和多个候选匹配点集,确定第一特征点集和第二特征点集的最优特征匹配结果。
68.在本公开实施例中,通过以第一特征点集中的每个特征点为基准,构建基准偏差补偿向量,并基于基准偏差补偿向量对第一特征集中除基准点之外的其他特征点进行偏差补偿,再基于偏差补偿后的特征点从第二特征点集中确定候选匹配点等步骤,能够提高稀疏特征点的匹配效果,有效解决由于干扰点距离待匹配点较近、特征点集存在异常、匹配偏差等因素造成的错误匹配问题。进而,有助于提高目标检测、定位精度,提高无人驾驶场景下的人车安全性,降低无人驾驶场景下的事故率。
69.图2为根据本公开一些实施例的对特征点进行偏差补偿的流程示意图。图2所示流程为步骤s130的一种可选实施方式。如图2所示,该流程包括:
70.步骤s131:根据第一特征点集中的其他特征点与基准点的深度信息之间的关系、以及基准偏差补偿向量,确定其他特征点对应的动态偏差补偿向量。
71.在一些实施例中,根据第一特征点集中的其他特征点与基准点的深度信息之间的关系确定相应的调节系数,根据调节系数与基准偏差补偿向量的模,确定其他特征点对应的动态偏差补偿向量的模。可选地,将调节系数与基准偏差补偿向量的模的乘积作为其他特征点对应的动态偏差补偿向量的模。此外,将基准偏差补偿向量的方向作为其他特征点对应的动态偏差补偿向量的方向。
72.例如,假设目标的第一特征点集由点a1、b1、c1、以及d1构成,在根据基准点a1确定的基准偏差补偿向量l1进行偏差补偿时,其他特征点具体为b1、c1、以及d1,根据点b1与基准点a1的深度信息之间的关系确定调节系数,根据调节系数与偏差补偿向量l1的模确定点b1对应的动态偏差补偿向量的模,并将基准偏差补偿向量l1的方向作为点b1对应的动态偏差补偿向量的方向。依此类推,可确定点c1对应的动态偏差补偿向量,以及点d1对应的动态偏差补偿向量。
73.步骤s132:根据动态偏差补偿向量,对其他特征点进行偏差补偿,以得到偏差补偿
后的特征点。
74.在一些实施例中,按照动态偏差补偿向量对其他特征点进行平移,从而得到偏差补偿后的特征点。
75.在本公开实施例中,通过步骤s131至步骤s132,能够根据特征点深度信息的不同,设置不同的偏差补偿向量,有效解决由于投影深度不一致目标特征点的整体偏差并非线性一致的问题,相比于针对其他特征点设置相同的偏差补偿向量的方式,偏差补偿效果更好,能够进一步提高特征匹配准确率。
76.图3为根据本公开一些实施例的确定候选匹配点集的流程示意图。图3所示流程为步骤s150的一种可选实施方式。如图3所示,该流程包括:
77.步骤s151:根据偏差补偿后的特征点对应的深度信息,确定偏差补偿后的特征点对应的最大搜索距离。
78.其中,偏差补偿后的特征点对应的深度信息,即第一特征点集合中除基准点之外的其他特征点的深度信息。例如,假设目标的第一特征点集由点a1、b1、c1、以及d1构成,在以特征点a1为基准点对其他特征点进行偏差补偿时,偏差补偿后的特征点的深度信息具体为特征点b1、c1、以及d1的深度信息。
79.在一些实施例中,可设置一个现实世界中允许的第二偏差阈值δd2,然后,根据偏差补偿后的特征点的深度信息和相机参数、以及第二偏差阈值δd2,确定偏差补偿后的特征点对应的最大搜索距离。
80.步骤s152:以偏差补偿后的特征点为中心,在对应的最大搜索距离范围内搜索第二特征点集中的特征点,并将搜索到的特征点作为该偏差补偿后的特征点对应的候选匹配点。
81.示例性地,以偏差补偿后的特征点为中心、以对应的最大搜索距离为边长的正方形邻域内搜索第二特征点集中的特征点,并将搜索到的特征点作为该偏差补偿后的特征点对应的候选匹配点。此外,在具体实施时,搜索邻域的形状并不限于正方形,还可以是其他形状。
82.在本公开实施例中,通过限定偏移补偿后的特征点对应的最大搜索距离,能够排除错误干扰点的影响,提高确定的候选匹配点的准确率,进而有助于提高整体匹配效果。
83.图4为根据本公开一些实施例的确定最优特征匹配结果的流程示意图。如图4所示,该流程包括:
84.步骤s171:根据第一特征点集和多个候选匹配点集构建多个二分图。
85.在一些实施例中,候选匹配点集中不包括基准点的候选匹配点。在这些实施例中,将第一特征点集中除基准点之外的、找到候选匹配点的特征点作为二分图中的一个顶点集,将相应的候选匹配点集作为该二分图中的另一个顶点集,从而得到一个二分图。进而,根据第一特征点集与不同的候选匹配点集,可得到多个二分图。
86.在另一些实施例中,候选匹配点集中包括基准点的候选匹配点。在这些实施例中,将第一特征点集中找到候选匹配点的所有特征点作为二分图中的一个顶点集,将相应的候选匹配点集作为该二分图中的另一个顶点集,从而得到一个二分图。进而,根据第一特征点集与不同的候选匹配点集,可得到多个二分图。例如,假设第一特征点集中的所有特征点都存在候选匹配点,并且假设共有5个候选匹配点集,通过第一特征点集与这5个候选匹配点
集组合,可得到5个二分图。
87.例如,假设目标的第一特征点集由点a1、b1、c1、以及d1构成,在以点a1为基准点构建基准偏差补偿向量对其他特征点进行偏差补偿后,找到了点b1和点d1的候选匹配点,但没有找到点c1的候选匹配点。那么,在构建二分图中,则将点a1、b1、d1作为二分图的一个顶点集,将这三个点对应的候选匹配点作为该二分图的另一个顶点集。
88.步骤s172:基于二分图匹配算法,确定各个二分图对应的最佳完备匹配结果。
89.在一些实施例中,步骤s172具体包括:对于每个二分图,根据该二分图对应的偏差补偿后的特征点与其候选匹配点之间的距离,确定二分图中各条边的匹配权重;基于二分图匹配算法,比如km算法,确定匹配权重之和最小的完备匹配,并将其作为二分图对应的最佳完备匹配结果。
90.在一种可选示例中,将二分图对应的偏差补偿后的特征点与其候选匹配点之间的距离作为二分图中各条边的匹配权重。特别地,对于候选匹配点集包含基准点的候选匹配点的情况,可将各个二分图中由基准点与其候选匹配点构成的边的匹配权重设为0,或者设为相同的数值。通过选取偏差补偿后的特征点与其候选匹配点之间的距离作为二分图中边的匹配权重,能够更好地衡量匹配效果,提高匹配准确度。
91.在另一种可选示例中,根据二分图对应的偏差补偿后的特征点与其候选匹配点之间的距离、以及权重调整系数,确定二分图中各条边的匹配权重。其中,该权重调整系数是根据特征点对应的深度信息确定的。通过考虑权重调整系数对二分图中边的匹配权重的影响,能够有效解决由于特征点深度信息不一致导致的匹配差异问题,提高匹配准确度。
92.例如,根据如下公式确定二分图中各条边的匹配权重:
93.diff
expect
=|p
candidate-p
expect
|+σ
94.其中,diff
expect
为二分图中边的匹配权重,|p
candidate-p
expect
|为偏差补偿后的特征点与其候选匹配点之间的距离,σ为权重调整系数。
95.步骤s173:在各个二分图对应的最佳完备匹配结果中,确定第一特征点集和第二特征点集的最优特征匹配结果。
96.在得到各个二分图对应的最佳完备匹配结果之后,对各个二分图对应的最佳完备匹配结果进行评分。根据评分,从各个二分图对应的最佳完备匹配结果中选取最优特征匹配结果。
97.在一些实施例中,根据匹配精确度和匹配完备性指标,确定各个二分图对应的最佳完备匹配结果的评分。
98.在深度学习中,精确率和召回率是常用的评价模型性能的指标。在本公开实施例中,依据深度学习中模型评估的理念,引入了匹配精确度和匹配完备性指标,并基于此对匹配结果进行评分。
99.其中,匹配精确度指标可根据如下示例性方式确定:对于每个二分图对应的最佳完备匹配结果,计算该最佳完备匹配结果对应的各个偏差补偿后的特征点的最大搜索距离之和,并将其作为第一参数值;计算该最佳完备匹配结果对应的各个偏差补偿后的特征点与其匹配点(该匹配点是通过诸如km等二分图匹配算法,从偏差补偿后的特征点对应的候选匹配点中筛选出来的)之间的距离之和,并将其作为第二参数值;根据所述第一参数值和所述第二参数值,确定所述匹配精确度指标,其中,所述匹配精确度指标与所述第一参数值
呈正相关,所述匹配精确度指标与所述第二参数值呈负相关。其中,
100.例如,可根据如下公式确定匹配精确度指标:
[0101][0102]
其中,precision为匹配精确度指标;diff
expect
为在二分图的最佳完备匹配结果中,偏差补偿后的特征点与其匹配点之间的距离;∑diff
expect
为在二分图的最佳完备匹配结果中,各个偏差补偿后的特征点与其匹配点之间的距离之和,即第二参数值;∑s为在二分图的最佳完备匹配结果中各个偏差补偿后的特征点的最大搜索距离之和,即第一参数值;∑(s-diff
expect
)为第一参数值和第二参数值的差值。
[0103]
其中,匹配完备性指标可根据如下示例性方式确定:对于每个二分图对应的最佳完备匹配结果,计算第二特征点集在所述最佳完备匹配结果中成功匹配的特征点个数,并将其作为第四参数值;将第一特征点集的特征点数和第二特征点集中的特征点数的最大值作为第五参数值;根据第四参数值和第五参数值,确定所述匹配完备性指标,其中,所述匹配完备性指标与第四参数值呈正相关,所述匹配完备性指标与所述第五参数值呈负相关。
[0104]
例如,可根据如下公式确定匹配完备性指标:
[0105][0106]
其中,recall为匹配完备性指标,size(k
match
)为第二特征点集在二分图的最佳完备匹配结果中成功匹配的特征点个数,max(size(pdeteet,pmatch))为第一特征点集的特征点数和第二特征点集中的特征点数的最大值。
[0107]
在一种可选示例中,根据匹配精确度和匹配完备性指标计算各个二分图对应的最佳完备匹配结果的f分数,将f分数作为各个二分图对应的最佳完备匹配结果的评分。
[0108]
在深度学习中,f分数是常用的评价模型性能的指标。在本公开实施例中,依据深度学习中模型评估的理念,引入了匹配精确度和匹配完备性指标,并基于匹配精确度和匹配完备性指标计算f分数,以对匹配结果进行评分。具体地,可根据如下公式计算f分数,并将其作为各个二分图对应的最佳完备匹配结果的评分:
[0109][0110]
其中,score为二分图对应的最佳完备匹配结果的评分,precision为匹配精确度指标,recall为匹配完备性指标,measure为调节系数。
[0111]
在另一种可选示例中,根据匹配精确度和匹配完备性指标计算各个二分图对应的最佳完备匹配结果的f分数,根据所述f分数,以及匹配惩罚项和匹配奖励项中的至少一项,确定所述最佳完备匹配结果的评分。其中,所述匹配惩罚项是根据匹配结果中第一特征点集的整体偏差情况设置的,所述匹配奖励项是根据匹配结果中第二特征点集成功匹配的特征点的匹配优先级设置的。通过基于f分数、以及匹配惩罚项和匹配奖励项中的至少一项对匹配结果进行评分,由于考虑了匹配偏差、以及是否匹配到优先级高的目标等因素,能够更好地衡量匹配效果,提高选取的最优匹配特征匹配结果的准确性,提高稀疏点特征匹配效
果。
[0112]
例如,根据如下公式计算各个二分图对应的最佳完备匹配结果的评分:
[0113][0114]
其中,score为二分图对应的最佳完备匹配结果的评分,为f分数,为匹配惩罚项,为匹配奖励项,∑limit为对各个基准点对应的最大搜索距离求和,∑|v
base
|+|v
drift
|为对二分图对应的最佳完备匹配结果涉及的基准偏差补偿向量的模与动态偏差补偿向量的模求和,ε、μ为设置的两个系数,表示匹配结果中第二特征点集成功匹配的特征点位于优先匹配点集合b中。
[0115]
在本公开实施例中,通过以上步骤确定了第一特征点集和第二特征点集的最优匹配结果。本公开实施例提出的特征匹配方法,能够很好地解决由于特征点集之间存在位置偏差、干扰点较近等因素造成的错误匹配问题,不会因为偏差过远而被其他点影响匹配效果,不会因为干扰点距离较近而错误匹配近处干扰点。而且,本公开实施例的特征匹配方法,在第一特征点集异常或第二特征点集异常时,也均表现出较好的匹配效果。
[0116]
图5a为根据本公开另一些实施例的特征匹配方法的流程示意图。在本公开实施例中,以对地图中固有目标的投影点集、与图像中目标的检测点集进行匹配为例,进行详细说明。如图5a所示,该方法包括:
[0117]
步骤s510:构建目标属性集。
[0118]
在本公开实施例中,地图中固有目标具体为地图中预先已知的目标,比如红绿灯。
[0119]
在一些实施例中,针对固有目标构建的目标属性集包括地图中固有的目标的投影点集m、目标的投影深度集d、以及优先匹配点集b。将目标属性集限定于相机总视野空间内。
[0120]
步骤s520:构建目标的第一特征点集和第二特征点集。
[0121]
在一些实施例中,将视野内关注的目标的投影点集m作为第一特征点集,对视野内关注的目标进行图像检测生成目标的检测点集,即目标的第二特征点集。
[0122]
步骤s530:以第一特征点集中的每个特征点为基准点,构建偏差补偿向量。
[0123]
在一些实施例中,以第一特征点集中的每个特征点为基准点,根据基准点对应的深度信息,确定基准点对应的最大搜索距离;以基准点为中心、在该基准点对应的最大搜索距离范围内搜索第二特征点集中的特征点,并将搜索到的特征点作为该基准点在第二特征点集中的候选匹配点;根据基准点与其候选匹配点之间的位置偏差,构建基准偏差补偿向量。
[0124]
例如,假设目标的第一特征点集由点a1、b1、c1、以及d1构成,目标的第二特征点集由点a2、b2、c2、d2、e2、以及f2构成,以a1为基准点,确定其在第二特征点集中的候选匹配点为a2,根据点a1与点a2之间的位置偏差确定偏差补偿向量l1,类似地,分别以b1、c1、d1为基准点,确定偏差补偿向量l2、l3、l4,从而得到多个偏差补偿向量。
[0125]
步骤s540:对第一特征点集中的其他特征点进行偏差补偿。
[0126]
在一些实施例中,根据第一特征点集中的其他特征点与基准点的深度信息之间的关系、以及基准偏差补偿向量,确定其他特征点对应的动态偏差补偿向量;根据动态偏差补偿向量,对其他特征点进行偏差补偿,以得到偏差补偿后的特征点。
[0127]
例如,假设目标的第一特征点集由点a1、b1、c1、以及d1构成,在根据基准点a1确定的偏差补偿向量为l1进行偏差补偿时,第一特征点集中的其他特征点具体为b1、c1、以及d1,根据偏差补偿向量l1对这三个特征点分别进行偏差补偿,可得到偏差补偿后的特征点b1

、c1

和d1


[0128]
其中,根据动态偏差补偿向量,对其他特征点进行偏差补偿可表示为:
[0129]
p
expect
=p
detect
+v
drift
[0130]
其中,p
expect
为偏差补偿后的特征点,p
detect
为第一特征点集中除基准点之外的其他特征点,v
drift
为动态偏差补偿向量。
[0131]
步骤s550:确定偏差补偿后的特征点在第二特征点集中的候选匹配点,以得到多个候选匹配点集。
[0132]
在一些实施例中,根据如下方式确定偏差补偿后的特征点在第二特征点集中的候选匹配点:根据偏差补偿后的特征点对应的深度信息,确定偏差补偿后的特征点对应的最大搜索距离;以偏差补偿后的特征点为中心,在对应的最大搜索距离范围内搜索第二特征点集中的特征点,并将搜索到的特征点作为偏差补偿后的特征点对应的候选匹配点。
[0133]
在本公开实施例中,存在多个由第一特征点集中除基准点之外的其他特征点构成的集合,在针对这些集合中的特征点进行偏差补偿、寻找候选匹配点操作后,得到了多个候选匹配点集。
[0134]
在一些实施例中,候选匹配点集中不包括基准点的候选匹配点。在这些实施例中,将第一特征点集中除基准点之外的其他特征点对应的候选匹配点组成的集合,作为一个候选匹配点集。例如,假设目标的第一特征点集由点a1、b1、c1、以及d1构成,以a1为基准点时,第一特征点集中除基准点之外的其他特征点为b1、c1、以及d1,其对应的候选匹配点集为集合1,以b1为基准点,第一特征点集中除基准点之外的其他特征点为a1、c1、以及d1,其对应的候选匹配点集为集合2,以c1为基准点,第一特征点集中除基准点之外的其他特征点为a1、b1、以及d1,其对应的候选匹配点集为集合3,以d1为基准点,第一特征点集中除基准点之外的其他特征点为a1、b1、以及c1,其对应的候选匹配点集为集合4。
[0135]
在另一些实施例中,候选匹配点集中包括基准点的候选匹配点。在这些实施例中,将基准点的候选匹配点、以及第一特征点集中除基准点之外的其他特征点的候选匹配点组成的集合,作为一个候选匹配点集,从而可得到多个候选匹配点集。
[0136]
步骤s560:根据第一特征点集和多个候选匹配点集构建多个二分图。
[0137]
在一些实施例中,候选匹配点集中不包括基准点的候选匹配点。在这些实施例中,将第一特征点集中除基准点之外的、找到候选匹配点的所有特征点作为二分图中的一个顶点集,将一个候选匹配点集作为该二分图中的另一个顶点集,从而得到一个二分图。通过与不同的候选匹配点集进行组合,可得到多个二分图。
[0138]
步骤s570:基于km算法确定各个二分图的最佳完备匹配结果。
[0139]
在一些实施例中,根据偏差补偿后的特征点与其候选匹配点之间的距离、以及权
重调整系数,确定二分图中各条边的匹配权重,基于km算法,确定匹配权重之和最小的完备匹配,并将其作为二分图对应的最佳完备匹配结果。
[0140]
例如,根据如下公式确定二分图中各条边的匹配权重:
[0141]
diff
expect
=|p
candidate-p
expect
|+σ
[0142]
其中,diff
expect
为二分图中边的匹配权重,|p
candidate-p
expect
|为偏差补偿后的特征点与其候选匹配点之间的距离,σ为权重调整系数。
[0143]
步骤s580:根据评分,在各个二分图的最佳完备匹配结果中确定第一特征点集和第二特征点集的最优特征匹配结果。
[0144]
在一些实施例中,根据匹配精确度和匹配完备性指标计算各个二分图对应的最佳完备匹配结果的f分数,将f分数作为各个二分图对应的最佳完备匹配结果的评分。
[0145]
在另一些实施例中,根据匹配精确度和匹配完备性指标计算各个二分图对应的最佳完备匹配结果的f分数,根据f分数,以及匹配惩罚项和匹配奖励项中的至少一项,确定所述最佳完备匹配结果的评分。其中,所述匹配惩罚项是根据匹配结果中第一特征点集的整体偏差情况设置的,所述匹配奖励项是根据匹配结果中第二特征点集成功匹配的特征点的匹配优先级设置的。
[0146]
例如,根据如下公式计算各个二分图对应的最佳完备匹配结果的评分:
[0147][0148]
其中,score为二分图对应的最佳完备匹配结果的评分,为f分数,为匹配惩罚项,为匹配奖励项,∑limit为对各个基准点对应的最大搜索距离求和,∑|v
base
|+|v
drift
|为对二分图对应的最佳完备匹配结果涉及的基准偏差补偿向量的模与动态偏差补偿向量的模求和,ε、μ为设置的两个系数,表示匹配结果中第二特征点集成功匹配的特征点位于优先匹配点集合b中。
[0149]
在一些实施例中,在确定各个二分图的最佳完备匹配结果的评分后,选取评分最高的最佳完备匹配结果,作为第一特征点集和第二特征点集的最优特征匹配结果。
[0150]
在本公开实施例中,通过以上步骤实现了第一特征点集和第二特征点集的特征匹配。与相关技术相比,本公开实施例的方法能够提高稀疏特征点的匹配效果,有效解决由于干扰点距离待匹配点较近、特征点集存在异常、匹配偏差等因素造成的错误匹配问题。
[0151]
图5b为根据本公开一些实施例的特征匹配方法与相关技术的特征匹配方法的效果对比示意图。在图5b中,左图为基于相关技术的特征匹配方法得到的图像检测红绿灯与地图投影红绿灯的匹配结果,右图为基于本公开一些实施例中的特征匹配方法得到的图像检测红绿灯与地图投影红绿灯的匹配结果。
[0152]
在图5b中,正确的匹配应该为:图像检测红绿灯l1与地图投影红绿灯a1匹配、图像检测红绿灯l2与地图投影红绿灯a2匹配、图像检测红绿灯l3与地图投影红绿灯a3匹配。但
是,采用相关技术的特征匹配方法,由于投影偏差等因素导致匹配结果出现错误,将图像检测红绿灯l2错误匹配到地图投影红绿灯a1、将图像检测红绿灯l3错误匹配到地图投影红绿灯a2。而采用本公开实施例的特征匹配方法,得到了正确的匹配结果。由此可见,与相关技术相比,本公开实施例的特征匹配方法具有更好的匹配准确率。此外,通过实验证明,本公开实施例在标定不准确、检测集或匹配集不准确、或陷入局部最优等更复杂、更特殊的场景下,均能展现较好的匹配效果。
[0153]
图6为根据本公开一些实施例的特征匹配装置的结构示意图。如图6所示,该装置包括:构建模块610、偏差补偿模块620、第一确定模块630、第二确定模块640。
[0154]
构建模块610,被配置为以目标的第一特征点集中的每个特征点为基准点,根据基准点与其在该目标的第二特征点集中的候选匹配点之间的位置偏差,构建基准偏差补偿向量。
[0155]
其中,目标的第一特征点集和第二特征点集中的构成元素可以为位置坐标点。比如,当目标为红绿灯时,特征点集由红绿灯的位置坐标点构成。
[0156]
在一些实施例中,构建模块610根据如下方式确定基准点在第二特征点集中的候选匹配点:构建模块610以基准点为中心,在该基准点对应的最大搜索距离范围内搜索第二特征点集中的特征点,并将搜索到的特征点作为基准点的候选匹配点。通过限定基准点对应的最大搜索距离,能够排除错误干扰点的影响,提高确定的基准点的候选匹配点的准确率。
[0157]
在一些实施例中,构建模块610根据如下方式确定基准点对应的最大搜索距离:构建模块610根据基准点对应的深度信息,确定基准点对应的最大搜索距离。其中,深度信息反映了目标的特征点与观测设备(比如相机)之间的距离的远近。在该实施例中,可根据基准点的深度信息的不同,设置不同的最大搜索距离。比如,可设置一个现实世界中允许的第一偏差阈值δd1,然后,根据基准点的深度信息和相机参数、以及第一偏差阈值δd1,确定基准点对应的最大搜索距离。
[0158]
通过上述处理,能够针对不同深度的基准点设置不同的最大搜索距离,有效解决由于投影深度不一致目标特征点的整体偏差并非线性一致的问题,相比于针对所有基准点设置相同的最大搜索距离的方式,能够在搜索基准点的候选匹配点时更好地排除错误干扰点的影响,进一步提高特征匹配准确率。
[0159]
偏差补偿模块620,被配置为根据基准偏差补偿向量,对第一特征点集中的其他特征点进行偏差补偿。
[0160]
其中,第一特征点集中的其他特征点是相对于基准点或者说基准偏差补偿向量而言的。在基准点不同时,第一特征点集中的其他特征点也不同。
[0161]
在一些实施例中,偏差补偿模块620根据第一特征点集中的其他特征点与基准点的深度信息之间的关系、以及基准偏差补偿向量,确定其他特征点对应的动态偏差补偿向量;偏差补偿模块620根据动态偏差补偿向量,对其他特征点进行偏差补偿,以得到偏差补偿后的特征点。
[0162]
示例性地,假设目标的第一特征点集由点a1、b1、c1、以及d1构成,在根据基准点a1确定的偏差补偿向量为l1进行偏差补偿时,第一特征点集中的其他特征点具体为b1、c1、以及d1,根据偏差补偿向量l1对这三个特征点分别进行偏差补偿,可得到偏差补偿后的特征
点b1

、c1

和d1

;在根据基准点b1确定的偏差补偿向量l2进行偏差补偿时,第一特征点集中的其他特征点具体为a1、c1、以及d1,根据偏差补偿向量l2对这三个特征点分别进行偏差补偿,可得到偏差补偿后的特征点a1

、c1

和d1


[0163]
第一确定模块630,被配置为确定偏差补偿后的特征点在第二特征点集中的候选匹配点,以得到多个候选匹配点集。
[0164]
在一些实施例中,第一确定模块630根据偏差补偿后的特征点对应的深度信息,确定偏差补偿后的特征点对应的最大搜索距离;以偏差补偿后的特征点为中心,在对应的最大搜索距离范围内搜索第二特征点集中的特征点,并将搜索到的特征点作为偏差补偿后的特征点对应的候选匹配点,从而得到多个候选匹配点集。
[0165]
第二确定模块640,被配置为根据第一特征点集和多个候选匹配点集,确定第一特征点集和第二特征点集的最优特征匹配结果。
[0166]
在一些实施例中,第二确定模块640根据第一特征点集和所述多个候选匹配点集构建多个二分图;基于二分图匹配算法,确定各个二分图对应的最佳完备匹配结果;在各个二分图对应的最佳完备匹配结果中,确定第一特征点集和第二特征点集的最优特征匹配结果。
[0167]
在本公开实施例中,通过以上装置实现了第一特征点集和第二特征点集的特征匹配。与相关技术相比,本公开实施例的装置能够提高稀疏特征点的匹配效果,有效解决由于干扰点距离待匹配点较近、特征点集存在异常、匹配偏差等因素造成的错误匹配问题。
[0168]
图7是示出根据本公开另一些实施例的特征匹配装置的框图。
[0169]
如图7所示,特征匹配装置700包括存储器710;以及耦接至该存储器710的处理器720。存储器710用于存储执行特征匹配方法对应实施例的指令。处理器720被配置为基于存储在存储器710中的指令,执行本公开中任意一些实施例中的特征匹配方法。
[0170]
图8是示出用于实现本公开一些实施例的计算机系统的框图。
[0171]
如图8所示,计算机系统800可以通用计算设备的形式表现。计算机系统800包括存储器810、处理器820和连接不同系统组件的总线830。
[0172]
存储器810例如可以包括系统存储器、非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(boot loader)以及其他程序等。系统存储器可以包括易失性存储介质,例如随机存取存储器(ram)和/或高速缓存存储器。非易失性存储介质例如存储有执行特征匹配方法中的至少一种的对应实施例的指令。非易失性存储介质包括但不限于磁盘存储器、光学存储器、闪存等。
[0173]
处理器820可以用通用处理器、数字信号处理器(dsp)、应用专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑设备、分立门或晶体管等分立硬件组件方式来实现。相应地,诸如构建模块、偏差补偿模块的每个模块,可以通过中央处理器(cpu)运行存储器中执行相应步骤的指令来实现,也可以通过执行相应步骤的专用电路来实现。
[0174]
总线830可以使用多种总线结构中的任意总线结构。例如,总线结构包括但不限于工业标准体系结构(isa)总线、微通道体系结构(mca)总线、外围组件互连(pci)总线。
[0175]
计算机系统800还可以包括输入输出接口840、网络接口850、存储接口860等。这些接口840、850、860以及存储器810和处理器820之间可以通过总线830连接。输入输出接口840可以为显示器、鼠标、键盘等输入输出设备提供连接接口。网络接口850为各种联网设备
提供连接接口。存储接口860为软盘、u盘、sd卡等外部存储设备提供连接接口。
[0176]
这里,参照根据本公开实施例的方法、装置和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个框以及各框的组合,都可以由计算机可读程序指令实现。
[0177]
这些计算机可读程序指令可提供到通用计算机、专用计算机或其他可编程装置的处理器,以产生一个机器,使得通过处理器执行指令产生实现在流程图和/或框图中一个或多个框中指定的功能的装置。
[0178]
这些计算机可读程序指令也可存储在计算机可读存储器中,这些指令使得计算机以特定方式工作,从而产生一个制造品,包括实现在流程图和/或框图中一个或多个框中指定的功能的指令。
[0179]
图9为根据本公开一些实施例中的无人车的结构示意图。如图9所示,无人车900包括特征匹配装置910。
[0180]
无人车900,安装有至少一种传感器,用于采集数据,以便基于采集的数据进行目标检测等等。示例性地,无人车安装的传感器为相机、激光雷达、或者毫米波雷达中的一种或多种。
[0181]
在无人车900进行目标检测时,需要基于特征匹配装置910进行特征匹配。例如,在对红绿灯进行检测、定位时,需要基于特征匹配装置910将摄像头采集的红绿灯的图像数据与地图中提取的红绿灯的点云数据进行特征匹配。
[0182]
在一些实施例中,特征匹配装置910,被配置为以目标的第一特征点集中的每个特征点为基准点,根据基准点,与其在该目标的第二特征点集中的候选匹配点之间的位置偏差,构建基准偏差补偿向量;根据基准偏差补偿向量,对第一特征点集中的其他特征点进行偏差补偿;确定偏差补偿后的特征点在第二特征点集中的候选匹配点,以得到多个候选匹配点集;根据第一特征点集和多个候选匹配点集,确定第一特征点集和第二特征点集的最优特征匹配结果。
[0183]
示例性地,当目标为红绿灯时,第一、第二特征点集由红绿灯的位置坐标点构成。示例性地,第一特征点集为地图投影红绿灯的特征点,第二特征点集为图像检测红绿灯的特征点集。
[0184]
在本公开实施例中,通过以上装置实现了第一特征点集和第二特征点集的特征匹配。与相关技术相比,本公开实施例的装置能够提高稀疏特征点的匹配效果,有效解决由于干扰点距离待匹配点较近、特征点集存在异常、匹配偏差等因素造成的错误匹配问题。进而,有助于提高目标检测、定位精度,提高无人驾驶场景下的人车安全性,降低无人驾驶场景下的事故率。
[0185]
本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
[0186]
通过上述实施例中的特征匹配方法、装置和无人车,能够提高稀疏特征点的匹配效果,有效解决由于干扰点距离待匹配点较近、特征点集存在异常、匹配偏差等因素造成的错误匹配问题。
[0187]
至此,已经详细描述了根据本公开的特征匹配方法、装置和无人车。为了避免遮蔽本公开的构思,没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述,完全
可以明白如何实施这里公开的技术方案。

技术特征:
1.一种特征匹配方法,包括:以目标的第一特征点集中的每个特征点为基准点,根据所述基准点,与其在所述目标的第二特征点集中的候选匹配点之间的位置偏差,构建基准偏差补偿向量;根据所述基准偏差补偿向量,对所述第一特征点集中的其他特征点进行偏差补偿;确定所述偏差补偿后的特征点在所述第二特征点集中的候选匹配点,以得到多个候选匹配点集;根据第一特征点集和所述多个候选匹配点集,确定所述第一特征点集和第二特征点集的最优特征匹配结果。2.根据权利要求1所述的特征匹配方法,其中,根据第一特征点集和所述多个候选匹配点集,确定所述第一特征点集和第二特征点集的最优特征匹配结果包括:根据第一特征点集和所述多个候选匹配点集构建多个二分图;基于二分图匹配算法,确定各个二分图对应的最佳完备匹配结果;在所述各个二分图对应的最佳完备匹配结果中,确定第一特征点集和第二特征点集的最优特征匹配结果。3.根据权利要求1所述的特征匹配方法,其中,构建偏差补偿向量还包括:以所述基准点为中心、在所述基准点对应的最大搜索距离范围内搜索所述第二特征点集中的特征点,并将搜索到的特征点作为所述基准点在第二特征点集中的候选匹配点。4.根据权利要求2所述的特征匹配方法,其中,构建基准偏差补偿向量还包括:根据基准点对应的深度信息,确定所述基准点对应的最大搜索距离。5.根据权利要求1所述的特征匹配方法,其中,根据所述基准偏差补偿向量对所述第一特征点集中的其他特征点进行偏差补偿包括:根据第一特征点集中的其他特征点与所述基准点的深度信息之间的关系、以及所述基准偏差补偿向量,确定所述其他特征点对应的动态偏差补偿向量;根据所述动态偏差补偿向量,对所述其他特征点进行偏差补偿,以得到偏差补偿后的特征点。6.根据权利要求5所述的特征匹配方法,其中,确定所述偏差补偿后的特征点在所述第二特征点集中的候选匹配点包括:根据所述偏差补偿后的特征点对应的深度信息,确定所述偏差补偿后的特征点对应的最大搜索距离;以所述偏差补偿后的特征点为中心,在对应的最大搜索距离范围内搜索第二特征点集中的特征点,并将搜索到的特征点作为所述偏差补偿后的特征点对应的候选匹配点。7.根据权利要求2所述的特征匹配方法,其中,基于二分图匹配算法,确定各个二分图对应的最佳完备匹配结果包括:对于每个二分图,根据所述二分图对应的偏差补偿后的特征点与其候选匹配点之间的距离,确定所述二分图中各条边的匹配权重;将匹配权重之和最小的完备匹配作为所述二分图对应的最佳完备匹配结果。8.根据权利要求7所述的特征匹配方法,其中,根据所述二分图对应的偏差补偿后的特征点与其候选匹配点之间的距离,确定所述二分图中各条边的匹配权重包括:根据所述二分图对应的偏差补偿后的特征点与其候选匹配点之间的距离、以及权重调
整参数,确定所述二分图中各条边的匹配权重,其中,所述权重调整参数是根据所述特征点对应的深度信息确定的。9.根据权利要求2所述的特征匹配方法,其中,在所述各个二分图对应的最佳完备匹配结果中,确定第一特征点集和第二特征点集的最优特征匹配结果包括:根据匹配精确度和匹配完备性指标,确定各个二分图对应的最佳完备匹配结果的评分;根据所述评分,从所述各个二分图对应的最佳完备匹配结果中选取最优的特征匹配结果。10.根据权利要求9所述的特征匹配方法,其中,根据匹配精确度和匹配完备性指标,确定各个二分图对应的最佳完备匹配结果的评分包括:对于每个二分图对应的最佳完备匹配结果,计算所述最佳完备匹配结果对应的各个偏差补偿后的特征点的最大搜索距离之和,并将其作为第一参数值;计算所述最佳完备匹配结果对应的各个偏差补偿后的特征点与其匹配点之间的距离之和,并将其作为第二参数值;根据所述第一参数值和所述第二参数值,确定所述匹配精确度指标,其中,所述匹配精确度指标与所述第一参数值呈正相关,所述匹配精确度指标与所述第二参数值呈负相关。11.根据权利要求9所述的特征匹配方法,其中,根据匹配精确度和匹配完备性指标,确定各个二分图对应的最佳完备匹配结果的评分包括:对于每个二分图对应的最佳完备匹配结果,计算第二特征点集在所述最佳完备匹配结果中成功匹配的特征点个数,并将其作为第四参数值;将第一特征点集的特征点数和第二特征点集中的特征点数的最大值作为第五参数值;根据第四参数值和第五参数值,确定所述匹配完备性指标,其中,所述匹配完备性指标与第四参数值呈正相关,所述匹配完备性指标与所述第五参数值呈负相关。12.根据权利要求8所述的特征匹配方法,其中,根据匹配精确度和匹配完备性指标,确定各个二分图对应的最佳完备匹配结果的评分包括:根据匹配精确度和匹配完备性指标计算各个二分图对应的最佳完备匹配结果的f分数;根据所述f分数,确定各个二分图对应的最佳完备匹配结果的评分。13.根据权利要求11所述的特征匹配方法,其中,根据所述f分数,确定各个二分图对应的最佳完备匹配结果的评分包括:根据所述f分数,以及匹配惩罚项和匹配奖励项中的至少一项,确定所述最佳完备匹配结果的评分,其中,所述匹配惩罚项是根据匹配结果中第一特征点集的整体偏差情况设置的,所述匹配奖励项是根据匹配结果中第二特征点集成功匹配的特征点的匹配优先级设置的。14.根据权利要求1所述的特征匹配方法,还包括:获取目标的第一来源和第二来源数据;根据所述第一来源数据确定目标的第一特征点集,根据所述第二来源数据确定所述目标的第二特征点集。15.根据权利要求14所述的特征匹配方法,其中,目标的第一来源数据为地图,目标的
第二来源数据为相机拍摄的图像。16.一种特征匹配装置,包括:构建模块,被配置为以目标的第一特征点集中的每个特征点为基准点,根据所述基准点,与其在所述目标的第二特征点集中的候选匹配点之间的位置偏差,构建基准偏差补偿向量;偏差补偿模块,被配置为根据所述基准偏差补偿向量,对所述第一特征点集中的其他特征点进行偏差补偿;第一确定模块,被配置为确定所述偏差补偿后的特征点在所述第二特征点集中的候选匹配点,以得到多个候选匹配点集;第二确定模块,被配置为根据第一特征点集和所述多个候选匹配点集,确定所述第一特征点集和第二特征点集的最优特征匹配结果。17.一种特征匹配装置,包括:存储器;以及耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至15任一项所述的特征匹配方法。18.一种计算机可读存储介质,其上存储有计算机程序指令,该指令被处理器执行时实现权利要求1至15任一项所述的特征匹配方法。19.一种无人车,包括:如权利要求16或17所述的特征匹配装置。

技术总结
本公开提出了一种特征匹配方法、装置和无人车,涉及计算机视觉技术领域,特别涉及无人驾驶领域。其中的特征匹配方法包括:以目标的第一特征点集中的每个特征点为基准点,根据基准点与其在所述目标的第二特征点集中的候选匹配点之间的位置偏差,构建基准偏差补偿向量;根据基准偏差补偿向量,对第一特征点集中的其他特征点进行偏差补偿;确定偏差补偿后的特征点在第二特征点集中的候选匹配点,以得到多个候选匹配点集;根据第一特征点集和多个候选匹配点集,确定第一特征点集和第二特征点集的最优特征匹配结果。通过以上步骤,能够提高稀疏特征点的匹配效果。稀疏特征点的匹配效果。稀疏特征点的匹配效果。


技术研发人员:康瀚隆
受保护的技术使用者:北京京东乾石科技有限公司
技术研发日:2022.04.20
技术公布日:2022/7/5
转载请注明原文地址: https://www.8miu.com/read-10006.html

最新回复(0)