1.本发明涉及自主导航和机器人领域，具体涉及一种基于语义的相机位姿估计方法及系统。
背景技术：2.对于增强现实、自主导航和智能机器人等诸多应用来说，精确的位姿估计对应用的体验和性能有着至关重要的影响。只有精确的估算出设备当前的位姿信息，才能在自动导航中准确的校准当前位置，才能在各种增强现实的场景中准确的融合虚拟物体。传统的民用gps定位方法，水平误差往往在10m以内，存在信号波动时误差可能会达到20～30m，无法满足一些精确定位的需求；激光雷达定位方法需要配备专用的激光雷达设备，成本较高且便携性较差；射频识别定位方法需要在场景部署相应的无线通信设备，对环境和设备要求较高；利用相机的视觉定位方法，可以从图像数据中提取丰富的视觉特征信息进行精确的相机位姿估计，而且，相机作为最普遍的传感设备被广泛应用在各类应用和场景中，有着精度高、成本低、部署简单、适用范围广等优点，因此相机位姿估计技术具有广泛的应用场景和巨大的研究价值。
3.已有先驱者对相机位姿估计技术进行了不同程度的研究。alex kendall等人提出了利用深度神经网络直接回归出相机绝对位姿的方法，laskar z等人结合图像检索提出了利用深度神经网络回归出图像对间相对相机位姿的方法。以上基于机器学习的方法需要大量数据进行驱动，场景泛化能力不足。shotton j等人通过场景坐标回归森林估计图像上任意一个像素的三维空间坐标，由此构建2d-3d匹配，再通过计算得到相机位姿。brachmann e,rother c等人利用全卷积网络对输入的图像进行坐标估计，得到每个像素的空间坐标，从而构建稠密的2d-3d匹配，计算得到相机位姿。sarlin p.-e等人结合图像检索技术和图像局部特征提取匹配技术得到2d-3d匹配，计算得到相机位姿。以上构建2d-3d匹配的方法，利用多视几何的相关知识，通过数学方法计算得到相机位姿，位姿估计精度较高，但是2d-3d匹配的构建过于依赖图像的rgb视觉信息，因此在环境光照变化、动态物体遮挡等情况下位姿估计效果下降明显。toft c等人提出了语义匹配一致性定位方法，利用语义匹配一致性评分调整位姿估计时ransac的采样过程，大概率的选中语义一致性较高的匹配点对集合，从语义层面优化位姿估计的结果。j.l等人构建了体素级的3d语义地图，并将位姿估计任务与3d语义体素的匹配进行结合。以上基于语义的方法，都采用重投影的方式对语义信息进行处理，并且都使用图像语义信息进行精确的位姿估计，但是位姿估计的效果依赖于语义分割的精度，在现有技术条件下不具备优势。
技术实现要素：4.为了解决上述技术问题，本发明提供一种基于语义的相机位姿估计方法及系统。
5.本发明技术解决方案为：一种基于语义的相机位姿估计方法，包括：
6.步骤s1：通过相机预先获取rgb图像序列，用于恢复场景三维结构并构建包含三维
信息的图像数据库；将所述rgb图像序列输入语义分割网络，得到语义分割结果序列，利用语义图修复方法对所述语义分割结果序列进行恢复，得到静态语义图序列，利用空间分布嵌入算法提取所述静态语义图序列的语义特征向量，构建语义特征数据库；提取所述rgb图像序列的全局特征向量，构建全局特征数据库；
7.步骤s2：获取一张相机拍摄的待估位姿rgb图像，提取所述待估位姿rgb图像的全局特征向量，计算所述全局特征向量与所述全局特征数据库中全局特征向量的欧几里得距离，使用最近邻匹配算法进行rgb检索，得到rgb检索结果集合r1；
8.步骤s3：将所述待估位姿rgb图像输入所述语义分割网络，得到语义分割结果；利用语义图修复方法对所述语义分割结果进行恢复，得到静态语义图；获取所述待估位姿rgb图像的静态语义图的语义特征向量，计算所述语义特征向量与所述语义特征数据库中语义特征向量的欧几里得距离，使用最近邻匹配算法进行语义检索，得到语义检索结果集合r2；
9.步骤s4：对r1和r2进行整合后使用区间选择算法进行优化，得到优化后的检索结果集合r；
10.步骤s5：将r中每幅图像与所述待估位姿rgb图像构成图像对，利用图像局部特征提取和匹配技术生成2d-2d匹配点对，并结合图像数据库中的三维信息转化为2d-3d匹配点对；将所述2d-3d匹配对输入位姿估计算法，得到所述相机的位姿估计。
11.本发明与现有技术相比，具有以下优点：
12.1、本发明公开了一种基于语义的相机位姿估计方法，对图像的语义分割结果进行修复，而不是对原始图像进行修复，从语义层面减少动态物体遮挡的影响，并恢复出稳定性更强的场景静态语义布局。语义图修复技术通过提供额外的附加信息，保证可利用的总像素信息量的一致，有利于对语义信息的进一步挖掘，并有利于对语义数据进行统一的处理。
13.2、针对修复的静态语义图，本发明提出了一种空间分布嵌入算法用于语义特征提取，可以有效对静态语义图进行编码，并用于图像检索。针对检索结果集合，本发明提出了一种区间选择算法，利用滑动窗口以优化检索结果，可以在不改变检索结果数量的情况下提高检索结果的相关性。
14.3、本发明利用静态语义图数据增强图像检索的性能，通过提供更相关的检索结果来提升位姿估计的效果。
附图说明
15.图1为本发明实施例中一种基于语义的相机位姿估计方法的流程图；
16.图2为本发明实施例中为本发明实施例的空间分布嵌入算法的一个计算示意图；
17.图3为本发明实施例中为区间选择算法的计算示意图；
18.图4为本发明实施例中一种基于语义的相机位姿估计系统的结构框图。
具体实施方式
19.本发明提供了一种基于语义的相机位姿估计方法，利用图像语义信息增强位姿估计算法的鲁棒性，提高其在环境光照变化、动态物体遮挡等情况下的表现，得到更加准确的位姿估计结果。
20.为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附
图，对本发明进一步详细说明。
21.实施例一
22.如图1所示，本发明实施例提供的一种基于语义的相机位姿估计方法，包括下述步骤：
23.步骤s1：通过相机预先获取rgb图像序列，用于恢复场景三维结构并构建包含三维信息的图像数据库；将rgb图像序列输入语义分割网络，得到语义分割结果序列，利用语义图修复方法对语义分割结果序列进行恢复，得到静态语义图序列，利用空间分布嵌入算法提取静态语义图序列的语义特征向量，构建语义特征数据库；提取rgb图像序列的全局特征向量，构建全局特征数据库；
24.步骤s2：获取一张相机拍摄的待估位姿rgb图像，提取待估位姿rgb图像的全局特征向量，计算全局特征向量与全局特征数据库中全局特征向量的欧几里得距离，使用最近邻匹配算法进行rgb检索，得到rgb检索结果集合r1；
25.步骤s3：将待估位姿rgb图像输入语义分割网络，得到语义分割结果；利用语义图修复方法对语义分割结果进行恢复，得到静态语义图；获取待估位姿rgb图像的静态语义图的语义特征向量，计算语义特征向量与语义特征数据库中语义特征向量的欧几里得距离，使用最近邻匹配算法进行语义检索，得到语义检索结果集合r2；
26.步骤s4：对r1和r2进行整合后使用区间选择算法进行优化，得到优化后的检索结果集合r；
27.步骤s5：将r中每幅图像与待估位姿rgb图像构成图像对，利用图像局部特征提取和匹配技术生成2d-2d匹配点对，并结合图像数据库中的三维信息转化为2d-3d匹配点对；将2d-3d匹配对输入位姿估计算法，得到相机的位姿估计。
28.在一个实施例中，上述步骤s1：通过相机预先获取rgb图像序列，用于恢复场景三维结构并构建包含三维信息的图像数据库；将rgb图像序列输入语义分割网络，得到语义分割结果序列，利用语义图修复方法对语义分割结果序列进行恢复，得到静态语义图序列，利用空间分布嵌入算法提取静态语义图序列的语义特征向量，构建语义特征数据库；提取rgb图像序列的全局特征向量，构建全局特征数据库，具体包括：
29.步骤s11：通过相机预先获取rgb图像序列，用于恢复场景三维结构并构建包含三维信息的图像数据库；
30.按照rgb图像在rgb图像序列中的顺序为每张rgb图像分配一个图像id，根据rgb图像恢复场景三维结构，并构建一个包含rgb图像三维信息的图像数据库；
31.步骤s12：将rgb图像序列输入语义分割网络，得到语义分割结果序列，利用语义图修复方法对语义分割结果序列进行恢复，得到静态语义图序列，利用空间分布嵌入算法提取静态语义图序列的语义特征向量，构建语义特征数据库，具体包括：
32.步骤s121：使用语义分割网络获取rgb图像序列的语义分割结果序列；
33.本发明实施例使用deeplabv3语义分割网络得到输入rgb图像的语义分割结果，该结果与原输入图像的尺寸一致，描述了输入图像逐像素的语义标签分类，其中语义类别共分为其他、行人步道、建筑、墙和栅栏、电线杆和交通标识、植被、天空、道路等8个静态语义类别和动态物体这1个动态语义类别，动态物体包含行人、车辆、公交、摩托等动态物体；
34.步骤s122：利用语义图修复方法对语义分割结果序列进行恢复，将rgb图像中动态
语义标签替换成静态语义标签，得到静态语义图序列；
35.在得到包含动态物体的语义分割结果后，使用传统图像修复技术(如navier-stokes)或基于机器学习的静态语义图修复技术(如si-gan)恢复出场景的静态语义图，从8个静态语义类别中选择合适的静态语义标签替换rgb图像的动态语义标签，得到静态语义图序列；
36.步骤s123：设定一个二维分布的评分图函数f(x，y)作为采样函数，其中，f(x，y)的定义域覆盖整幅静态语义图s；
37.步骤s124：利用f对静态语义图s进行打分，针对s中的每一个像素位置p，其在f中对应的函数值f(p)便为该位置的分值权重，其中，p＝(u，v)，代表s上的像素位置；
38.步骤s125：针对s中的每一个语义标签类c，根据f的打分结果，计算该语义类的总分值权重tc＝∑
p∈s
(i
p
f(p))，其中，i
p
为指示函数，当p处的标签与c相同时取1，否则取0；
39.步骤s126：针对s中的k种语义标签，按照预定的顺序将k个总分值权重tk排列为一个k维向量，对其进行归一化操作，并将归一化后的结果作为静态语义图s的语义特征向量；
40.步骤s127：采用n个不同评分函数分别执行步骤s123～s126，得到n个不同的k维向量，最后将其按预定的顺序拼接为一个nk维的向量，对向量进行归一化操作，并将归一化后的结果作为s的最终静态语义特征向量；
41.步骤s128：重复步骤s123～s127，提取静态语义图序列中所有静态语义图的语义特征向量，得到语义特征数据库。
42.步骤s13：提取rgb图像序列的全局特征向量，构建全局特征数据库。
43.本发明实施例使用传统图像特征提取算法(如vlad)或基于机器学习的图像特征提取算法(如netvlad)对rgb图像序列提取全局特征，得到一个高维向量作为图像的表示，从而构建全局特征数据库。
44.如图2所示，为本发明实施例的空间分布嵌入算法的一个计算示例，图2中静态语义图像的尺寸为7*5，一共有35个语义块，语义的类别一共有4种，分别以不同的颜色表示，评分图函数f设置为简单的三维平面函数方便演示。在算法运行阶段，将f的分值权重与静态语义图对应的语义块进行一一对应，得到附带评分的静态语义图。通过求和统计不同语义类的总评分，并将其拼接成一个向量。对向量进行归一化处理，得到最终的静态语义特征向量。
45.本发明设计的空间分布嵌入算法，可用于语义特征提取，可以有效对静态语义图进行编码，提取为一个向量，并用于图像检索。
46.在一个实施例中，上述步骤s2：获取一张相机拍摄的待估位姿rgb图像，提取所述待估位姿rgb图像的全局特征向量，计算所述全局特征向量与所述全局特征数据库中全局特征向量的欧几里得距离，使用最近邻匹配算法进行rgb检索，得到rgb检索结果集合r1；
47.在位姿估计阶段，获取一张相机拍摄的待估位姿rgb图像，获取该图像的全局特征向量。将待估位姿rgb图像的全局特征向量与步骤s13构建的全局特征数据库中的每个全局特征向量分别计算欧几里得距离，使用最近邻匹配算法进行rgb检索，按距离差值大小排序，然后选择特定的全局特征向量，构建得到rgb检索结果集合r1。
48.在一个实施例中，上述步骤s3：将所述待估位姿rgb图像输入所述语义分割网络，得到语义分割结果；利用语义图修复方法对所述语义分割结果进行恢复，得到静态语义图；
获取所述待估位姿rgb图像的静态语义图的语义特征向量，计算所述语义特征向量与所述语义特征数据库中语义特征向量的欧几里得距离，使用最近邻匹配算法进行语义检索，得到语义检索结果集合r2，具体包括：
49.将步骤s2中待估位姿rgb图像，执行步骤s121～s126，得到其静态语义特征向量。将待估位姿rgb图像的静态语义特征向量与步骤s12构建的语义特征数据库中的每个语义特征向量分别计算欧几里得距离，使用最近邻匹配算法进行rgb检索，按距离差值大小排序，然后选择特定的语义特征向量，构建得到语义检索结果集合r2。
50.在一个实施例中，上述步骤s4：对r1和r2进行整合后使用区间选择算法进行优化，得到优化后的检索结果集合r，具体包括：
51.步骤s41：根据集合r1和r2中每张rgb图像id，求取集合r1和r2的并集r
t
＝r1∪r2，将r
t
按升序或降序进行排列，得到排序后的图像序列t；
52.步骤s42：使用窗口尺寸固定为m的滑动窗口，从t的左侧滑动到右侧，针对每个滑动位置，计算该位置处的滑动窗口的区间绝对值，其中，m小于等于序列t的长度；滑动窗口的区间绝对值通过滑动窗口的右侧图像id减去其左侧图像id，再对结果取绝对值得到；
53.步骤s43：选择滑动窗口区间的绝对值最小的位置，并将处在该位置的窗口包含的m个图像作为优化后的检索结果集合r；
54.步骤s44：如若有多个位置的窗口区间绝对值并列为最小，则可以针对每一个位置生成一个优化后的检索结果集合r，然后从中选择一个或多个集合分别进行后续步骤。
55.如图3所示为区间选择算法的计算示例。图3下方的数字代表图像在序列数据中的相对位置。序列t共包含8张图像，通过将rgb检索的结果r1和语义检索的结果r2进行合并，然后按升序进行排序得到，采用的滑动窗口的尺寸为4。其中，起始位置的区间跨度为17，由窗口右侧图像的id 122减去窗口左侧图像的id 105计算得到。窗口由起始位置开始，从左向右依次滑过图像序列，计算窗口的区间跨度，并对最小子序列进行更新。区间跨度最小的子序列位于窗口的末尾处，区间跨度为5，由编号id为125，127，128，130的四张图像构成，这四张图像便构成了优化后的检索结果集合r。
56.本发明设计的区间选择算法，利用滑动窗口以优化检索结果，可以在不改变检索结果数量的情况下提高检索结果的相关性。
57.在一个实施例中，上述步骤s5：将r中每幅图像与待估位姿rgb图像构成图像对，利用图像局部特征提取和匹配技术生成2d-2d匹配点对，并结合图像数据库中的三维信息转化为2d-3d匹配点对；将2d-3d匹配对输入位姿估计算法，得到相机的位姿估计，具体包括：
58.将步骤s4得到的集合r中的每一幅图像与待估位姿rgb图像构成图像对，利用图像局部特征提取技术(如sift、orb、superpoint等)获得图像的局部特征，利用特征匹配得到待估位姿rgb图像和集合r中图像的2d-2d匹配对，再结合其有三维信息将其转化为2d-3d匹配对。将得到的所有2d-3d匹配对作为输入，使用位姿估计算法(如ransac-pnp算法)计算得到相机位姿。
59.如果步骤s4得到多个集合r，可以对每个集合分别进行位姿估计，选择内点数量最多的估计位姿作为最终的相机位姿。
60.本发明公开了一种基于语义的相机位姿估计方法，对图像的语义分割结果进行修复，而不是对原始图像进行修复，从语义层面减少动态物体遮挡的影响，并恢复出稳定性更
强的场景静态语义布局。语义图修复技术通过提供额外的附加信息，保证可利用的总像素信息量的一致，有利于对语义信息的进一步挖掘，并有利于对语义数据进行统一的处理。
61.针对修复的静态语义图，本发明提出了一种空间分布嵌入算法用于语义特征提取，可以有效对静态语义图进行编码，并用于图像检索。针对检索结果集合，本发明提出了一种区间选择算法，利用滑动窗口以优化检索结果，可以在不改变检索结果数量的情况下提高检索结果的相关性。
62.本发明利用静态语义图数据增强图像检索的性能，通过提供更相关的检索结果来提升位姿估计的效果。
63.实施例二
64.如图4所示，本发明实施例提供了一种基于语义的相机位姿估计系统，包括下述模块：
65.数据预处理模块61：用于通过相机预先获取rgb图像序列，用于恢复场景三维结构并构建包含三维信息的图像数据库；将rgb图像序列输入语义分割网络，得到语义分割结果序列，利用语义图修复方法对语义分割结果序列进行恢复，得到静态语义图序列，利用空间分布嵌入算法提取静态语义图序列的语义特征向量，构建语义特征数据库；提取rgb图像序列的全局特征向量，构建全局特征数据库；
66.获取rgb检索结果模块62，用于获获取一张相机拍摄的待估位姿rgb图像，提取待估位姿rgb图像的全局特征向量，计算全局特征向量与全局特征数据库中全局特征向量的欧几里得距离，使用最近邻匹配算法进行rgb检索，得到rgb检索结果集合r1；
67.获取语义检索结果模块63，用于将待估位姿rgb图像输入语义分割网络，得到语义分割结果；利用语义图修复方法对语义分割结果进行恢复，得到静态语义图；获取待估位姿rgb图像的静态语义图的语义特征向量，计算语义特征向量与语义特征数据库中语义特征向量的欧几里得距离，使用最近邻匹配算法进行语义检索，得到语义检索结果集合r2；
68.优化检索结果模块64，用于对r1和r2进行整合后使用区间选择算法进行优化，得到优化后的检索结果集合r；
69.相机的位姿估计模块65，用于将r与其在将rgb图像序列中对应的图像构成图像对，利用图像局部特征提取和匹配技术生成2d-2d匹配点对，并结合图像数据库中的三维信息转化为2d-3d匹配点对；将2d-3d匹配对输入位姿估计算法，得到相机的位姿估计。
70.提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。
技术特征：1.一种基于语义的相机位姿估计方法，其特征在于，包括：步骤s1：通过相机预先获取rgb图像序列，用于恢复场景三维结构并构建包含三维信息的图像数据库；将所述rgb图像序列输入语义分割网络，得到语义分割结果序列，利用语义图修复方法对所述语义分割结果序列进行恢复，得到静态语义图序列，利用空间分布嵌入算法提取所述静态语义图序列的语义特征向量，构建语义特征数据库；提取所述rgb图像序列的全局特征向量，构建全局特征数据库；步骤s2：获取一张相机拍摄的待估位姿rgb图像，提取所述待估位姿rgb图像的全局特征向量，计算所述全局特征向量与所述全局特征数据库中全局特征向量的欧几里得距离，使用最近邻匹配算法进行rgb检索，得到rgb检索结果集合r1；步骤s3：将所述待估位姿rgb图像输入所述语义分割网络，得到语义分割结果；利用语义图修复方法对所述语义分割结果进行恢复，得到静态语义图；获取所述待估位姿rgb图像的静态语义图的语义特征向量，计算所述语义特征向量与所述语义特征数据库中语义特征向量的欧几里得距离，使用最近邻匹配算法进行语义检索，得到语义检索结果集合r2；步骤s4：对r1和r2进行整合后使用区间选择算法进行优化，得到优化后的检索结果集合r；步骤s5：将r中每幅图像与所述待估位姿rgb图像构成图像对，利用图像局部特征提取和匹配技术生成2d-2d匹配点对，并结合图像数据库中的三维信息转化为2d-3d匹配点对；将所述2d-3d匹配对输入位姿估计算法，得到所述相机的位姿估计。2.根据权利要求1所述的基于语义的相机位姿估计方法，其特征在于，所述步骤s1：通过相机预先获取rgb图像序列，用于恢复场景三维结构并构建包含三维信息的图像数据库；将所述rgb图像序列输入语义分割网络，得到语义分割结果序列，利用语义图修复方法对所述语义分割结果序列进行恢复，得到静态语义图序列，利用空间分布嵌入算法提取所述静态语义图序列的语义特征向量，构建语义特征数据库；提取所述rgb图像序列的全局特征向量，构建全局特征数据库，具体包括：步骤s11：通过相机预先获取rgb图像序列，用于恢复场景三维结构并构建包含三维信息的图像数据库；步骤s12：将所述rgb图像序列输入语义分割网络，得到语义分割结果序列，利用语义图修复方法对所述语义分割结果序列进行恢复，得到静态语义图序列，利用空间分布嵌入算法提取所述静态语义图序列的语义特征向量，构建语义特征数据库；步骤s13：提取所述rgb图像序列的全局特征向量，构建全局特征数据库。3.根据权利要求2所述的基于语义的相机位姿估计方法，其特征在于，所述步骤s12：将所述rgb图像序列输入语义分割网络，得到语义分割结果序列；利用语义图修复方法对所述语义分割结果序列进行恢复，得到静态语义图序列；利用空间分布嵌入算法提取所述静态语义图序列的语义特征向量，构建语义特征数据库，具体包括：步骤s121：使用语义分割网络获取所述rgb图像序列的语义分割结果序列；步骤s122：利用语义图修复方法对所述语义分割结果序列进行恢复，将rgb图像中动态语义标签替换成静态语义标签，得到静态语义图序列；步骤s123：设定一个二维分布的评分图函数f(x，y)作为采样函数，其中，f(x，y)的定义域覆盖整幅静态语义图s；
步骤s124：利用f对所述静态语义图s进行打分，针对s中的每一个像素位置p，其在f中对应的函数值f(p)便为该位置的分值权重，其中，p＝(u，v)，代表s上的像素位置；步骤s125：针对s中的每一个语义标签类c，根据f的打分结果，计算该语义类的总分值权重t
c
＝∑
p∈s
(i
p
f(p))，其中，i
p
为指示函数，当p处的标签与c相同时取1，否则取0；步骤s126：针对s中的k种语义标签，按照预定的顺序将k个总分值权重t
k
排列为一个k维向量，对其进行归一化操作，并将归一化后的结果作为所述静态语义图s的语义特征向量；步骤s127：采用n个不同评分函数分别执行步骤s123～s126，得到n个不同的k维向量，最后将其按预定的顺序拼接为一个nk维的向量，对向量进行归一化操作，并将归一化后的结果作为s的最终静态语义特征向量；步骤s128：重复步骤s123～s127，提取所述静态语义图序列中所有静态语义图的语义特征向量，得到语义特征数据库。4.根据权利要求1所述的基于语义的相机位姿估计方法，其特征在于，所述步骤s4：对r1和r2进行整合后使用区间选择算法进行优化，得到优化后的检索结果集合r，具体包括：步骤s41：根据集合r1和r2中每张rgb图像id，求取集合r1和r2的并集r
t
＝r1∪r2，将r
t
按升序或降序进行排列，得到排序后的图像序列t；步骤s42：使用窗口尺寸固定为m的滑动窗口，从t的左侧滑动到右侧，针对每个滑动位置，计算该位置处的所述滑动窗口的区间绝对值，其中，m小于等于序列t的长度；所述滑动窗口的区间绝对值通过所述滑动窗口的右侧图像id减去其左侧图像id，再对结果取绝对值得到；步骤s43：选择所述滑动窗口区间的绝对值最小的位置，并将处在该位置的窗口包含的m个图像作为优化后的检索结果集合r；步骤s44：如若有多个位置的窗口区间绝对值并列为最小，则可以针对每一个位置生成一个优化后的检索结果集合r，然后从中选择一个或多个集合分别进行后续步骤。5.一种基于语义的相机位姿估计系统，其特征在于，包括下述模块：数据预处理模块：用于通过相机预先获取rgb图像序列，用于恢复场景三维结构并构建包含三维信息的图像数据库；将所述rgb图像序列输入语义分割网络，得到语义分割结果序列，利用语义图修复方法对所述语义分割结果序列进行恢复，得到静态语义图序列，利用空间分布嵌入算法提取所述静态语义图序列的语义特征向量，构建语义特征数据库；提取所述rgb图像序列的全局特征向量，构建全局特征数据库；获取rgb检索结果模块，用于获获取一张相机拍摄的待估位姿rgb图像，提取所述待估位姿rgb图像的全局特征向量，计算所述全局特征向量与所述全局特征数据库中全局特征向量的欧几里得距离，使用最近邻匹配算法进行rgb检索，得到rgb检索结果集合r1；获取语义检索结果模块，用于将所述待估位姿rgb图像输入所述语义分割网络，得到语义分割结果；利用语义图修复方法对所述语义分割结果进行恢复，得到静态语义图；获取所述待估位姿rgb图像的静态语义图的语义特征向量，计算所述语义特征向量与所述语义特征数据库中语义特征向量的欧几里得距离，使用最近邻匹配算法进行语义检索，得到语义检索结果集合r2；优化检索结果模块，用于对r1和r2进行整合后使用区间选择算法进行优化，得到优化后的检索结果集合r；
相机的位姿估计模块，用于将r与其在将所述rgb图像序列中对应的图像构成图像对，利用图像局部特征提取和匹配技术生成2d-2d匹配点对，并结合图像数据库中的三维信息转化为2d-3d匹配点对；将所述2d-3d匹配对输入位姿估计算法，得到所述相机的位姿估计。
技术总结本发明涉及一种基于语义的相机位姿估计方法及系统，其方法包括：S1：利用RGB图像序列构建图像数据库、语义特征数据库和全局特征数据库；S2：提取待估位姿RGB图像的全局特征向量进行RGB检索，得到RGB检索结果集合R1；S3：提取待估位姿RGB图像的静态语义图的语义特征向量进行语义检索，得到检索结果集合R2；S4：对R1和R2使用区间选择算法进行优化，得到集合R；步骤S5：将R中每幅图像与待估位姿RGB图像构成图像对，通过图像特征匹配和图像数据库的三维信息得到2D-3D匹配对，输入位姿估计算法计算得到相机的位姿估计。本发明提供的方法，利用图像语义信息增强位姿估计算法的鲁棒性，使其在环境光照变化、动态物体遮挡情况下得到更准确的位姿估计结果。位姿估计结果。位姿估计结果。
技术研发人员：周忠 陈虹睿 熊源
受保护的技术使用者：北京航空航天大学
技术研发日：2022.01.12
技术公布日：2022/7/5
