本发明属于航空视觉导航景象匹配,具体涉及一种基于语义拓扑特征匹配的航空视觉导航定位方法。
背景技术:
1、现有的景象匹配方法通常采用基于点、线、区域等特征实现图像匹配,虽然在许多场景下表现出色,但是匹配所用图像数据库需要大量的存储空间,影响景象匹配的实用性,且在匹配过程中,尺度、方向和光照的变化都可能会对匹配精度造成较大影响。为了实现更为可靠的视觉导航系统,需要一种更稳健的景象匹配技术。
技术实现思路
1、本发明的目的在于提供一种基于语义拓扑特征匹配的航空视觉导航定位方法。本发明方法在应用图像中,以视觉参照物的语义及拓扑结构关系特征作关联搜索,解决现有技术中航空导航定位存在的问题。
2、本发明的实现过程如下:
3、一种基于语义拓扑特征匹配的航空视觉导航定位方法,包括如下步骤:
4、(1)高级语义拓扑关系特征向量的设计:
5、通过计算图像中各视觉参照物与图像中心点的连线之间的相对距离比、角度差以及数字化语义标签来构建高级语义拓扑关系特征向量,向量结构如式1.1所示:(1.1)
6、式中代表距离比的集合,代表归一化角度差的集合,代表数字化语义标签信息的集合;
7、(2)高级语义拓扑关系特征向量的提取:
8、通过语义分割、重心计算、特征向量计算进行高级语义拓扑关系特征向量的提取;
9、(3)依据所提取的高级语义拓扑关系特征向量进行匹配导航定位:
10、通过比对航路图像与预先生成基准数据库中的高级语义拓扑关系特征向量,找到最相似的数据库图像实现航空视觉导航定位。
11、进一步,步骤(1)中所述距离比的集合的构建方法包括如下步骤,
12、(s1)首先选取图片中心m以作为整个航拍图像的中心,并通过计算确定图像中各视觉参照物重心距离中心点的距离,选取其中距离中心点最近的若干个视觉参照物作为匹配的对象,固定参考物个数;
13、(s2)将各视觉参照物与中心的距离分别与选取各视觉参照物中距离中心最远的距离相比得到,,……;从而得到各视觉参照物与中心之间的原始距离比集合,即 (1.2);
14、(s3)对于已选定的若干个视觉参照物,计算它们各自的像素坐标,随后,计算这些坐标与图像中心点之间的连线与图像x轴正方向之间的角度值,对于计算结果中出现的负角度值,通过加上360°将其转换为0°至360°范围内的正值,以便于后续处理;
15、(s4)根据计算得到的角度值,对距离比集合中的元素索引值进行递增排序;
16、(s5)识别出距离中心最远的视觉参照物对应的索引值,通过对索引值集合进行循环移位,将距离最远的视觉参照物对应的距离比索引值置于首位,得到排序后的索引值集合;
17、(s6)根据排序后的索引值集合对原始距离比集合进行重新排序,得到新的距离比集合。
18、进一步,步骤(1)中所述角度差的集合的构建方法包括如下步骤,
19、(si)首先选取航拍图像中心点m,计算这些坐标与图像中心点之间的连线与图像x轴正方向之间的角度;
20、(sii)通过步骤(s5)得到的索引值集合对原始角度集合进行重新排序,得到了按照顺时针顺序排列且以距离最远视觉参照物为起始点的新的角度集合,而后按照顺序分别计算各相邻连线之间的角度差得到,即(1.3);
21、(siii)通过归一化角度差异,对各角度差与最大角度差之比作为匹配要素,得到归一化角度差的集合,即 (1.4)。
22、进一步,步骤(1)中所述数字化语义标签信息的集合的构建方法包括如下步骤,
23、(si)对于每一个视觉参照物,它们的语义类型标签会被作为一个额外的特征加入到匹配特征向量中,在匹配时,不仅要考虑视觉参照物的空间配置,还要考虑视觉参照物的类型;
24、(sii)对语义类型标签进行数字化,每个标签取值范围均为0-1;
25、(siii)通过步骤(s5)得到的索引值集合对原始标签集合进行重新排序,得到了按照顺时针顺序排列且以距离最远视觉参照物为起始点的新的标签集合。
26、进一步,步骤(2)中所述语义分割的过程包括如下步骤,
27、(a1)将航路图像输入到训练好的语义分割模型中,得到每个像素的分类结果;
28、(a2)根据分类结果对图像进行二值化处理,将航路区域与背景区域进行分离;
29、(a3)通过形态学操作对二值化图像进行进一步处理,去除噪声和干扰,得到精确的航路分割结果,并对不同的视觉参照物类型赋予不同的标签。
30、进一步,步骤(2)中所述重心计算的过程包括如下步骤,
31、(ai)将航拍图像经过语义分割后的图像作为输入,随后将图像从常见的rgb色彩空间转换至hsv色彩空间。
32、(aii)根据设计好的每个视觉参照物所不同的颜色标签,设定不同的hsv范围以选择合适的作为匹配的视觉参照物类型;
33、(aiii)使用opencv的inrange函数创建该颜色范围的掩码,根据掩码调用findcontours函数查找hsv空间中的图像的轮廓,然后调用contourarea函数计算轮廓的面积并应用面积阈值,过滤掉太小的轮廓;
34、(aiv)在得到符合条件的轮廓后,对于各轮廓使用opencv的moments函数来计算每个轮廓的矩,利用矩信息来计算符合要求的轮廓的重心并获取其在航拍图像上的像素坐标。
35、进一步,步骤(2)中所述特征向量计算的过程是根据步骤(1)中构建的公式(1.1)计算高级语义拓扑关系特征向量。
36、进一步,步骤(3)中所述最相似的数据库图像是通过计算待匹配图像高级语义拓扑关系特征向量与所有数据库图像高级语义拓扑关系特征向量之间的欧氏距离,并选取欧氏距离最小的数据库图像作为匹配结果;
37、(b1)对于两个n维空间中的点a和b,其中点a的坐标为(x1, x2, ..., xn),点b的坐标为(y1, y2, ..., yn),欧氏距离d(a, b)可以通过式1.5计算。
38、(1.5)
39、公式(1.5)计算的是两个点在n维空间中的直线距离,能直接反应两个不同高级语义拓扑关系特征向量之间的相似度;最终,算法将输出与待匹配图像欧氏距离最小的数据库图像作为匹配结果;
40、(b2)引入了一个最大距离阈值来区分真正的匹配和误匹配,即设置一个最大距离阈值,当两个高级语义拓扑关系特征向量之间的欧氏距离小于该阈值时,它们被认为是匹配成功的,否则认为它们匹配失败。
41、进一步,步骤(b2)中将最大距离阈值集成到匹配算法中的步骤如下,
42、(bi)计算欧氏距离:计算待匹配图像的高级语义拓扑关系特征向量与数据库中每个图像的高级语义拓扑关系特征向量之间的欧氏距离;
43、(bii)找到最小距离:从所有计算出的欧氏距离中找出最小值,这个值代表了待匹配图像与数据库中某个图像的最高相似度;
44、(biii)应用最大距离阈值:设定一个最大距离阈值,如果最小欧氏距离小于或等于这个阈值,则认为找到了匹配的图像,并输出该图像以及相对应的地理坐标作为匹配结果;如果最小欧氏距离大于阈值,则认为没有找到匹配的图像,即认定为匹配失败。
45、本发明的积极效果:
46、(1)针对航空视觉导航定位对特征提取的鲁棒性、实时性以及有限计算机资源需求,本发明方法提出从航空图像和地图数据库中提取高级特征的方法,即采用语义分割技术提取航空图像中的明显视觉参照物标识,利用视觉参照物标识之间的拓扑位置关系进行高级特征匹配,从而对航空飞行器自身位置进行定位。
47、(2)本发明方法将基于图像的定位问题简化为拓扑关系特征匹配问题,从而显著降低了尺度、方向和照明等变化对匹配精度的影响,进一步提高了匹配的准确性和鲁棒性。
48、(3)本发明方法将基于语义分割和拓扑关系特征匹配的方法相结合,不仅能够实现对复杂环境的精确理解,还能在景象匹配时提供更为可靠和稳定的结果。
49、(4)本发明方法通过采用存储基准图像的高级特征向量的方法,是原始存储方式的千分之一,实现了存储量的大幅缩减。
1.一种基于语义拓扑特征匹配的航空视觉导航定位方法,其特征在于,包括如下步骤:
2.根据权利要求1所述方法,其特征在于:步骤(1)中所述距离比的集合的构建方法包括如下步骤,
3.根据权利要求2所述方法,其特征在于:步骤(1)中所述角度差的集合的构建方法包括如下步骤,
4.根据权利要求2所述方法,其特征在于:步骤(1)中所述数字化语义标签信息的集合的构建方法包括如下步骤,
5.根据权利要求1所述方法,其特征在于:步骤(2)中所述语义分割的过程包括如下步骤,
6.根据权利要求1所述方法,其特征在于:步骤(2)中所述重心计算的过程包括如下步骤,
7.根据权利要求1所述方法,其特征在于:步骤(2)中所述特征向量计算的过程是根据步骤(1)中构建的公式(1.1)计算高级语义拓扑关系特征向量。
8.根据权利要求1所述方法,其特征在于:步骤(3)中所述最相似的数据库图像是通过计算待匹配图像高级语义拓扑关系特征向量与所有数据库图像高级语义拓扑关系特征向量之间的欧氏距离,并选取欧氏距离最小的数据库图像作为匹配结果;
9.根据权利要求7所述方法,其特征在于:步骤(b2)中将最大距离阈值集成到匹配算法中的步骤如下,
