1.本发明涉及同步定位与地图创建(simultaneous location and mapping，slam)技术领域，具体基于图神经网络特征提取与匹配的移动机器人地图构建方法、存储介质及设备。
背景技术：2.近年来在工业与家用领域，移动机器人的应用数量都在急剧增长，其在未知环境下的同步定位与地图构建也已成为了移动机器人领域研究热点。当前视觉slam主要有两种趋势，一是在前端增加新的传感器，如imu或gps等，通过获取外界移动信息来添加新的相机位姿约束，但此类方法需要移动机器人处理多源信息融合时具有较强的紧耦合能力，同时保证计算量的平衡。二是与现在较为突出的深度学习相结合，使用神经网络模型为视觉slam问题解决提供了新的智能化选择。近几年图神经网络的兴起大大加速了这一进程，基于现实处理图数据的迫切需求图神经网络应运而生，面对传统卷积神经网络难以处理的图数据，图神经网络创新性的运用节点域定义节点相关性挖掘节点之间丰富的关系信息，造就了图神经网络在图像领域强大的表征能力。2005年，marco gori等人首次提出图神经网络概念，省去了传统方法将图数据转换为向量的中间步骤，将学习过程直接架构在图数据之上。2013年，bruna等人首次将卷积引入图神经网络中，研究人员开始将可学习的卷积操作用于图数据之上。近来有各种基于图卷积的神经网络模型被开发出来，2019年，tang等人开始将其运用于传统slam前端特征提取中，在轨迹精度上取得了较为准确的结果。但现有技术仍无法解决在移动机器人大视角运动下由于光照变换剧烈或遭遇纹理稀疏场景造成的特征跟踪丢失问题以及弯道轨迹漂移等问题，导致无法构建高精确度完整地图。
技术实现要素：3.本发明的目的是提供基于图神经网络特征提取与匹配的移动机器人地图构建方法，用于解决现有技术中由于移动机器人大视角运动下造成的轨迹漂移问题，并能解决移动机器人面对复杂的外界光照与纹理稀疏场景无法构建高精确度完整地图的技术问题。
4.所述的基于图神经网络特征提取与匹配的移动机器人地图构建方法，包括下列步骤：
5.步骤s1，通过先验位置估计特征提取图神经网络，对图像特征点进行快速均匀检测与描述，构建相应特征点信息；
6.输入图像经编码层处理生成对应输入图像信息的8
×
8特征映射集合，之后使用划分像素区域估计位置坐标的方法，结合关键点位置坐标与特征点描述符，使用多层感知机将特征点位置坐标嵌入到高维向量，并通过先验位置估计特征提取网络估计每个输出的8
×
8特征映射集合的相对图像坐标，并将其映射到全局图像像素坐标，融合特征点的初始相对位置坐标、视觉描述符与置信度得到特征点信息；
7.步骤s2，通过图注意力机制特征匹配中的消息传递图神经网络聚合特征点信息；
8.步骤s3，使用自我与联合注意力机制对前后帧图像进行分权重特征匹配；
9.步骤s4，优化筛选己建立的特征匹配点对集合，并将优化后的高吻合度匹配点对与系统后端的非线性优化、闭环修正算法相融合，进行相机位姿估计与局部地图构建。
10.优选的，所述步骤s1中，由先验位置估计特征提取网络模型提取图ga前m个特征点a＝{1，
…
，m}，提取图gb前n个特征点b＝{1，
…
，n}，两张图像两组关键点位置l和描述符d编码为局部特征(l，d)；该先验位置估计特征提取网络模型包括两个通道数分别为256和2的卷积层，在sigmoid函数激活层之后，使用回归方式估计8
×
8特征映射集合内坐标在[0，1]范围内的偏移量，预测特征点在该特征映射集合的相对像素位置。
[0011]
优选的，所述步骤s1中，由相对图像坐标映射到全局图像像素坐标的转换公式与区域内特征点融合公式如下所示：
[0012][0013]
式中，
(0)
pi为区域内融合特征点初始相对位置坐标、视觉描述符与置信度的特征点信息，di为特征点描述符，mlp为多层感知机，(x，y)i为全局图像像素坐标，初始为(
(0)
l
x
(a，b)，
(0)
ly(a，b))，，ci为该特征点置信度，a为位置估计区域纵坐标，b为位置估计区域横坐标，
(0)
l
x
(a，b)为图像像素横坐标，
(0)
ly(a，b)为图像像素纵坐标，
(n)
la为第n层位置估计区域横坐标，
(n)
lb第n层位置估计区域纵坐标，s
ds
是降采样因子为8的降采样函数。
[0014]
优选的，所述步骤s2中，图可以定义为由节点和连接节点的边构成，本方法定义了两种类型无向边，在单张图像上的自我注意力无向边，特征点在单张图像内连接着同一图像内其它特征点，在前后图像帧之间的联合注意力无向边，特征点连接着其它图像特征点；本方法提出一种消息传递公式沿着两种无向边传递特征节点信息，利用多重消息传递网络从低层特征节点向高层特征节点传递信息，通过聚集所有特征节点的所有无向边信息，在每一层计算更新特征节点状态；此过程消息传递公式把融合先验位置信息的特征点信息传递到中心节点，在多层卷积层网络中融合全局图像像素坐标进行优化。
[0015]
优选的，所述步骤s2中，经过大量匹配特征点对训练先验位置估计特征提取网络模型，通过无监督损失函数对输入图像进行多角度、多尺度单应性训练提取相同场景的3d点，实现对特征点的优化，图像a中特征节点信息更新公式包括所述消息传递公式具体如下所示：
[0016][0017]
式中，[
·
||
·
]表示并列，为图像a上κ层的特征节点，为κ+1层图像聚合特征点，
(κ)
ni为图像a上κ层的邻域特征节点，m
ε
→i表示为所有特征节点{j：(i，j)∈ε}的聚合结果，其中ε具有自我注意力与联合注意力两种类型，lc为无监督特征点的置信度损失项，l
xy
为相对特征点位置均匀分布正则项，l
desc
为学习描述符表示项，l
decorr
为特征点描述符正则项，每类损失项由不同因子λ加权。最后两个损失项l
desc
与l
decorr
只对描述符进行优化，
l
decorr
通过去除相关描述符来减少过拟合，消息传递公式里的di+mlp[(x，y)i，ci]在卷积层第一层即由步骤s1所得的融合后的特征点信息
(0)
pi。
[0018]
优选的，所述步骤s3中，使用基于消息传递的图神经网络，充分聚合特征点邻域内空间位置信息与视觉灰度特征，利用自我注意力机制增大在高响应区域特征权重，然后集中迭代单帧图像上显著或相邻特征点，通过联合注意力机制在两张图像上搜索相似或共有特征点，消除无法匹配的低质量特征点；分权重匹配时特征节点的融合计算所需的图像特征集合与图像特征矩阵键值对对象通过图神经网络中的线性投影计算。
[0019]
优选的，所述步骤s3中，分权重匹配时特征节点的融合计算公式如下所示。
[0020][0021]
式中，w
ij
为注意力权重，
(κ)mε
→i为融合后的特征消息，
(k)
m为κ层消息传递函数，为特征点的特征点状态，e
ij
为相连两个特征点的特征向量，i和j为经softmax归一化的图像特征行和列，qi表示查询得到的图像特征集合，gj为图像特征矩阵键值对对象。图像特征集合是指特征点位置集合，图像特征矩阵键值对对象是指图像中已匹配的特征点对；
[0022]
线性投影计算公式如下所示：
[0023][0024]
式中，属于a集合，qi表示查询得到的图像特征集合，gi为图像特征矩阵键值对对象，为邻域融合特征点描述符，为集合b中κ层特征点，w1、w2与w3为注意力权重，χ1、χ2与χ3为系数。
[0025]
优选的，所述步骤s4中，通过优化匹配网络生成局部特征吻合度分配矩阵优化特征匹配，本方法使用匹配描述符的吻合度来表征匹配对相似程度，吻合度公式如下所示：
[0026][0027]
式中，属于集合a
×
b，ψ
i，j
为匹配对吻合度，《
·
，
·
》为其二者内积，
(κ)
p
ia
为图像a上κ层的特征节点，
(κ)
p
ib
为图像b上κ层的特征节点，wi为图像a对应特征点权重，wj为集合b对应特征点权重，xi为集合a中特征点对应系数，χj为图像b中特征点对应系数；
[0028]
本方法通过设立一个低吻合度集合，收纳匹配错误可能性极大、吻合度低于β的匹配对，通过添加一个新的矫正行和列，来进行显式特征匹配，矫正公式如下所示：
[0029][0030]
式中，为集合a中特征点矫正后权重，为集合a中κ层邻近特征点，集合a中矫正后系数，为集合a中特征点矫正后权重，为集合a中κ层邻近特征点，集合a中矫正后系数，m和n为低吻合度集合行和列。
[0031]
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于图神经网络特征提取与匹配的移动机器人地图构建方法的步骤。
[0032]
本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于图神经网络特征提取与匹配的移动机器人地图构建方法的步骤。
[0033]
本发明具有以下优点：本方法在先验位置估计特征提取网络中设计一种关键点位置估计网络层，针对机器人在大视角弯道运动中遭遇的外界光照变化剧烈，纹理稀疏场景下的特征提取困难与区域集中问题，利用基于全卷积网络的无监督特征提取网络框架，克服了传统vgg结构较多繁复网络层，需要大量的训练样本数据，计算量大且耗时的缺点。关键点位置估计网络层使用划分像素区域估计位置坐标的方法，既可区分不同区域，实现完全无监督的训练，又能在图像内快速均匀准确估计每个8
×
8特征映射集合内的特征点，避免特征点在某个区域内聚集过多，实现类似非极大值抑制(non-maximum suppression，nms)的功能，有助于提升特征提取算法在面对外界光照变化剧烈与纹理稀疏场景下的稳定性与准确性，并在之后的特征匹配环节中进行区域内搜索匹配，进而减少全局搜索匹配计算量，加快特征匹配的速度。
[0034]
2、在图像前后帧之间在图像特征匹配过程中，一个图像上特征点可能同时匹配多个特征点，也可能图像因为遮挡或对应区域未提取特征点而无法进行正确特征匹配。因此本方法特征匹配算法对于每个特征点编码生成唯一标识符，同时在特征匹配之后对匹配对集合优化筛选，以确保特征匹配的高准确性。图可以定义为由节点和连接节点的边构成，本方法定义了两种类型无向边，在单张图像上的自我注意力无向边，特征点在单张图像内连接着同一图像内其它特征点，在前后图像帧之间的联合注意力无向边，特征点连接着其它图像特征点。本方法使用基于消息传递的图神经网络，充分聚合特征点邻域内空间位置信息与视觉灰度特征，利用自我注意力机制增大在高响应区域特征权重，然后集中迭代单帧图像上显著或相邻特征点，通过联合注意力机制在两张图像上搜索相似或共有特征点，消除无法匹配的低质量特征点，可有效避免因具有很多相似性特征点而造成的误匹配。
[0035]
3、本方法特征匹配模型中第二个部分为优化匹配网络，生成局部特征吻合度分配矩阵，优化特征匹配。移动机器人在面对大视角运动下造成的光照变化剧烈或处于极端角度甚至遮挡情形，此时描述符本身很容易出现较大误差，如果使用错误描述符进行匹配的特征点必定会出现错误匹配。本方法图注意力机制特征匹配网络模型与最优匹配层都具有可微性，这使得匹配结果可以反向传播到视觉描述符，基于消息传递图神经网络的深度映射与基于图注意力机制的同形映射使得大视角运动下相机运动几何位姿估计更加精准，如果在特征点邻域内无可供匹配描述符，本方法就将此类型关键点标记为无法匹配特征点，ab分别表示前后帧图像。
附图说明
[0036]
图1为本发明基于图神经网络特征提取与匹配的移动机器人地图构建方法的流程示意图。
[0037]
图2为本发明基于图神经网络特征提取与匹配的移动机器人地图构建方法的流程
maximum suppression，nms)的功能，有助于提升特征提取算法在面对外界光照变化剧烈与纹理稀疏场景下的稳定性与准确性。
[0057]
该步骤的具体步骤为：由先验位置估计特征提取网络模型提取图ga前m个特征点a＝{1，
…
，m}，提取图gb前n个特征点b＝{1，
…
，n}，两张图像两组关键点位置l和描述符d编码为局部特征(l，d)。在关键点编码器特征编码过程中，本方法结合关键点位置坐标与特征点描述符，使用多层感知机(multilayer perceptron)将特征点位置坐标嵌入到高维向量，并通过先验位置估计特征提取网络估计每个输出的8
×
8特征映射集合的相对图像坐标，并将其映射到全局图像像素坐标，该模块包括两个通道数分别为256和2的卷积层，在sigmoid函数激活层之后，使用回归方式估计8
×
8特征映射集合内坐标在[0，1]范围内的偏移量，预测特征点在该特征映射集合的相对像素位置。对于像素尺寸为8
×
8的输入图像，由相对图像坐标映射到全局图像像素坐标的转换公式与区域内特征点融合公式如下所示。
[0058][0059]
式中，
(0)
pi为区域内融合特征点初始相对位置坐标、视觉描述符与置信度的特征点信息，di为特征点描述符，mlp为多层感知机，(x，y)i为全局图像像素坐标，初始为(
(0)
l
x
(a，b)，
(0)
ly(a，b))，ci为该特征点置信度，a为位置估计区域纵坐标，b为位置估计区域横坐标，
(0)
l
x
(a，b)为图像像素横坐标，
(0)
ly(a，b)为图像像素纵坐标，
(n)
la为第n层位置估计区域横坐标，
(n)
lb第n层位置估计区域纵坐标，s
ds
是降采样因子为8的降采样函数。
[0060]
步骤s2，通过图注意力机制特征匹配中的消息传递图神经网络聚合特征点信息。
[0061]
本方法的图注意力机制特征匹配网络模型可以让特征信息跨越图像相互传递，然后利用消息传递图神经网络在较大像素范围内聚合图像特征，增强本方法在面对移动机器人大视角运动中前后帧变换较大时的鲁棒性。图像前后帧的图像信息经每个模块分别转换为置信度张量c
t
、特征点位置张量l
t
与描述符张量d
t
，然后在图像前后帧两个不同特征集合之间建立特征点映射，再利用距离矩阵g来计算ab两个不同模块(即前后帧图像)之间的特征点变换关系，a模块中与b模块中二者的特征点欧氏距离矩阵g定义如下所示。
[0062][0063]
式中，ma×
mb为距离矩阵的大小，为经单应性变换后特征点坐标，为ab两个模块的特征点坐标，t为随机单应性变换矩阵，||
·
||2表示求两个点之间的欧式距离。
[0064]
在图像前后帧之间的图像特征匹配过程中，一个图像上特征点可能同时匹配多个特征点，也可能图像因为遮挡或对应区域未提取特征点而无法进行正确特征匹配。因此本方法对于每个特征点编码生成唯一标识符，同时在特征匹配之后对匹配对集合优化筛选，以确保特征匹配的高准确性。图可以定义为由节点和连接节点的边构成，本方法定义了两种类型无向边，在单张图像上的自我注意力无向边，特征点在单张图像内连接着同一图像内其它特征点，在前后图像帧之间的联合注意力无向边，特征点连接着其它图像特征点。本
方法提出一种消息传递公式沿着两种无向边传递特征节点信息，利用多重消息传递网络从低层特征节点向高层特征节点传递信息，通过聚集所有特征节点的所有无向边信息，在每一层计算更新特征节点状态。此过程消息传递公式把融合先验位置信息的特征点信息传递到中心节点，在多层卷积层网络中融合全局图像像素坐标进行优化，减少了运算量，加快特征提取，特征提取更加精准有效，增强环境外界变化鲁棒性。
[0065]
本方法设计一种新的无监督损失函数，再经过大量匹配特征点对训练先验位置估计特征提取网络模型。通过该函数对输入图像进行多角度、多尺度单应性训练提取相同场景的3d点，实现对特征点的优化，降低对外界光照与纹理变化敏感度，提高特征点提取网络模型的鲁棒性。图像a中特征节点信息更新公式包括所述消息传递公式和无监督损失函数，具体如下所示。
[0066][0067]
式中，[
·
||
·
]表示并列，
(κ)
p
ia
为图像a上κ层的特征节点，
(κ+1)
p
ia
为κ+1层图像聚合特征点，
(n)
ni为图像a上κ层的邻域特征节点，m
ε
→i表示为所有特征节点{j：(i，j)∈ε}的聚合结果，其中ε具有自我注意力与联合注意力两种类型，lc为无监督特征点的置信度损失项，l
xy
为相对特征点位置均匀分布正则项，l
des
为学习描述符表示项，l
decorr
为特征点描述符正则项，每类损失项由不同因子λ加权。最后两个损失项l
desc
与l
decorr
只对描述符进行优化，l
decorr
通过去除相关描述符来减少过拟合。而消息传递公式里的di+mlp[(x，y)i，ci]在卷积层第一层即由步骤s1所得的融合后的特征点信息
(0)
pi。
[0068]
步骤s3，使用自我与联合注意力机制对前后帧图像进行分权重特征匹配。
[0069]
本方法使用基于消息传递的图神经网络，充分聚合特征点邻域内空间位置信息与视觉灰度特征，利用自我注意力机制增大在高响应区域特征权重，然后集中迭代单帧图像上显著或相邻特征点，通过联合注意力机制在两张图像上搜索相似或共有特征点，消除无法匹配的低质量特征点，可有效避免因具有很多相似性特征点而造成的误匹配。分权重匹配时特征节点的融合计算公式如下所示。
[0070][0071]
式中，w
ij
为注意力权重，
(κ)mε
→i为融合后的特征消息，
(κ)
m为κ层消息传递函数，为特征点的特征点状态，e
ij
为相连两个特征点的特征向量，i和j为经softmax归一化的图像特征行和列，qi表示查询得到的图像特征集合，gj为图像特征矩阵键值对对象。图像特征集合是指特征点位置集合，图像特征矩阵键值对对象是指图像中已匹配的特征点对。
[0072]
本方法中图像特征集合与图像特征矩阵键值对对象通过图神经网络中的线性投影计算，因所有特征点信息都在图像特征集合a中，所有的源特征点都在图像特征集合b中，线性投影计算公式如下所示。
[0073][0074]
式中，属于a集合，qi表示查询得到的图像特征集合，gi为图像特征矩阵键值对对象，为邻域融合特征点描述符，为集合b中κ层特征点，w1、w2与w3为注意力权重，x1、χ2与x3为系数。
[0075]
本方法中每个网络层都有自己的投影参数，利用联合图注意力机制共享前后帧之间的图像特征。本方法图注意力机制特征匹配网络模型具有较大灵活性，可根据移动机器人所处环境动态调整学习不同属性图像特征，特征匹配网络算法基于融合特征点位置与视觉描述符的编码器，通过消息传递图神经网络可以获取特征点邻域信息，有效避免了大视角运动造成的光照变化或纹理稀疏环境下特征跟踪时特征点数量区域集中与数量骤变。利用自我与联合图注意机制迭代特征点优化特征匹配，保证了在大视角运动中前后帧视角变换过大，图像帧重合面积较少时能够进行特征匹配与跟踪，进而为本方法系统后端非线性优化与全局轨迹地图构建奠定了数据基础。
[0076]
步骤s4，优化筛选已建立的特征匹配点对集合，并将优化后的高吻合度匹配点对与orb-slam2系统后端的非线性优化、闭环修正算法相融合，进行相机位姿估计与局部地图构建。
[0077]
特征匹配模型中第二个部分为优化匹配网络，生成局部特征吻合度分配矩阵，优化特征匹配。视觉slam中无论是计算资源分配还是求解位姿精度，都难以为两张图像a、b中的m
×
n个特征点全部建立匹配，因此本方法在两张图像a、b中的m
×
n个特征点匹配成功的大量特征点对集合中进行优化筛选，让正确的高吻合度匹配点对进入slam算法，对后端非线性优化流程而言这是减小求解位姿误差大小的关键。为此本方法使用匹配描述符的吻合度来表征匹配对相似程度，吻合度公式如下所示。
[0078][0079]
式中，属于集合a
×
b，ψ
i，j
为匹配对吻合度，《
·
，
·
》为其二者内积，
(κ)
p
ia
为图像a上κ层的特征节点，
(κ)
p
ib
为图像b上κ层的特征节点，wi为图像a对应特征点权重，wj为集合b对应特征点权重，xi为集合a中特征点对应系数，xj为图像b中特征点对应系数。
[0080]
移动机器人在面对大视角运动下造成的光照变化剧烈或处于极端角度甚至遮挡情形，此时描述符本身很容易出现较大误差，如果使用错误描述符进行匹配的特征点必定会出现错误匹配。为此，本方法使用图匹配中很常见的显式分配，通过设立一个低吻合度集合，收纳匹配错误可能性极大、吻合度低于β的匹配对，通过添加一个新的矫正行和列，来进行显式特征匹配，矫正公式如下所示。
[0081][0082]
式中，为集合a中特征点矫正后权重，为集合a中κ层邻近特征点，集合a中矫正后系数，为集合a中特征点矫正后权重，为集合a中κ层邻近特征点，
集合a中矫正后系数，m和n为低吻合度集合行和列。
[0083]
图6为本方法在hpatches数据集i_castle序列下光照渐变特征提取对比实验图，选取数据集中光照渐变场景验证本方法效果。由图可知，sift算法在前两张光照明亮图像特征点提取数量较多，在后四张光照阴暗图像特征点数量与提取位置变化较大，这是由于sift算法把不同尺度内易受光照影响灰度值梯度的区域极值作为特征点，同时使用非极大值抑制与hessian矩阵去除低对比度特征点，在光照变化剧烈的环境中容易造成特征的误匹配和跟踪丢失，造成相机位姿估计误差。surf算法在面对光照渐变场景时特征提取数量变化较大，是因为surf算法先使用hessian矩阵滤除了大量潜在特征点，后利用非极大值抑制均匀化特征点数量导致了在光照阴暗图像中特征提取数量较少。orb算法在光照渐变场景中的特征点提取呈现区域聚集分布，特征点分布不均匀，导致在ransac估计时局部收敛进而相机位姿估计误差变大。本方法特征提取在光照渐变场景特征提取过程中使用消息传递图神经网络融合了空间位置信息与视觉灰度特征，在光照渐变场景中保持了特征点位置与数量的稳定性。
[0084]
图7为本方法在hpatches数据集i_whitebuilding序列下光照渐变下纹理稀疏场景特征提取对比图，选取数据集中光照渐变情况下纹理稀疏场景验证本方法效果。由图可知，本方法选用hpatches的i_whitebuilding在光照渐变下纹理稀疏场景特征点提取对比实验，其特征提取对比如图所示。sift、surf与orb算法在面对灰度均匀的纹理稀疏场景时，难以在整张图像内提取灰度值梯度均匀变化的局部极值点，同时由于人工设计特征算子的关键点邻域像素灰度值受光照、视角与纹理影响较大，所以在移动机器人大视角运动中造成的光照变化或遭遇纹理稀疏环境都面临着特征点提取困难、区域聚集分布等问题，在光照渐变图像中，特征点数量与位置也相差很大。本方法在消息传递图神经网络聚合特征点周围邻域信息，增强在提取特征时的信息表达，使得本方法在面对纹理稀疏场景下具有高度鲁棒性，提高了ransac估计时的相机位姿精度。
[0085]
图8为本方法在tum、hpatches数据集下视角渐变下特征匹配对比实验图，选取tum-rgbd与hpatches数据集进行不同算法室内室外与纹理稀疏下的多视角特征匹配对比实例，其中匹配线条颜色按照灰度颜色排列，不同颜色的匹配线条表示不同的吻合度。视角渐变下特征匹配对比实例如图所示，本方法在室内、室外与纹理稀疏环境中同flann算法进行对比，使用具有纹理稀疏、自相似度高、场景复杂的三维几何结构与大视角变化的tum rgbd室内数据集与hpatches室外数据集具有同一物体视角不同、光照渐变的序列图像，有效验证本方法匹配性能。实验结果表明，在面对室内、室外与纹理稀疏场景时，sift+flann算法特征点提取重复度与描述符平均匹配准确率较低，本方法在大视角下表现出了优势的特征提取与匹配能力。
[0086]
图9为本方法在hpatches数据集下光照渐变场景下特征匹配性能map对比结果图。由图可知，本方法图注意力机制特征匹配算法在hpatches的5个光照渐变与纹理稀疏场景序列表现出最佳性能，实验结果表明，本方法特征匹配描述符平均匹配准确率相较于orb+flann算法提升较大，相较于surf+flann算法显著提升。综上表明，本方法在光照渐变与纹理稀疏场景下具有较强的特征匹配能力，使得移动机器人在大视角运动中面对外界复杂环境变化具有较高鲁棒性。
[0087]
图10为本方法在tum数据集下运行轨迹对比图，如图所示为三种算法与本方法的
轨迹对比结果。本方法在两个序列都获得了最优的结果，orb-slam2在大视角运动与纹理稀疏场景中都出现了跟踪丢失，导致了闭环错误以至于全局轨迹与真实轨迹偏差较大。dx-slam在fr2/desk、fr2/long_office household两个序列出现跟踪丢失，无法生成轨迹且与真实轨迹尺度偏差较大。gcnv2-slam在两个序列中偶有跟踪丢失，在跟踪过程中无法应对大视角运动与纹理稀疏场景，导致绝对轨迹误差较大。本方法在前端利用先验位置估计特征提取网络模型与图注意力机制特征匹配算法，可以充分应对移动机器人运动过程中大视角变化与纹理稀疏场景，极大减少了特征跟踪丢失，保证了相机位姿与对极几何恢复精度，进而在全局建图中获得了极低的绝对轨迹误差。
[0088]
图11为本方法在kitti数据集下运行轨迹对比图。如图所示三种算法在kitti数据集上轨迹对比结果。orb-slam2在09序列的最大轨迹误差分别为111.679，从整体来看，orb-slam2在大视角弯道运动中轨迹出现较大偏差，在09序列大视角弯道运动中orb-slam2未能检测到闭环。dx-slam在09序列的最大轨迹误差分别为139.522，dx-slam轨迹较orb-slam2更加均匀，但在09序列的大视角弯道运动轨迹跟踪丢失，导致闭环失败。本方法在09序列的最大轨迹误差分别为14.073，实验结果表明，本方法在09序列中绝对轨迹误差更小，能充分应对大视角弯道运动与纹理稀疏场景。
[0089]
图12为本方法在kitti 00-10序列绝对轨迹与相对位姿误差对比图。本方法的绝对轨迹误差在kitti 11个序列数据集上取得了最佳结果，相对位姿误差在8个序列数据集上取得了最佳结果。整体来看，orb-slam2的绝对轨迹误差和相对位姿误差与dx-slam相差不大。本方法相较dx-slam绝对轨迹平均误差与相对位姿平均误差显著降低，相较于orb-slam2绝对轨迹平均误差与相对位姿平均误差降低较大，实验结果表明本方法在室外大视角运动性能优异。
[0090]
图13为本方法真实场景平面布局图。为验证本方法有效性，设置光照变化剧烈与纹理稀疏真实场景进行移动机器人大视角运动slam实验，将intel realsense d435i传感器固定在turtlebot3离地面大约0.3m的位置，在实验中通过上位机控制机器人绕行障碍物a、b，形成8字回环，场景规模为5.95m
×
4.8m，真实场景平面布局图如图所示。c点为移动机器人起始点，使用本方法对移动机器人的全局轨迹建图。
[0091]
图14为本方法真实场景下不同算法轨迹对比图。从实验结果可见,orb-slam2算法由于光照变化剧烈与场景纹理稀疏等因素导致在回到c点的过程中产生假闭环，对算法运行轨迹造成错误修正，难以在大视角运动进行准确地图构建。dx-slam在面向大视角运动造成的光照变化剧烈或遭遇纹理稀疏场景时，导致对极几何计算明显失真，闭环修正后全局地图尺度偏小。然而本方法由于结合了先验位置估计特征提取和图注意力机制特征匹配网络，在面向大视角运动造成的光照变化剧烈或遭遇纹理稀疏场景时，依然能够恢复精确的运动结构，实现高准确定位与高精度建图。
[0092]
实施例二：
[0093]
与本发明实施例一对应，本发明实施例二提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时依照实施例一的方法实现以下步骤。
[0094]
步骤s1，通过先验位置估计特征提取图神经网络，对图像特征点进行快速均匀检测与描述，构建真实准确特征点信息。
[0095]
步骤s2，通过图注意力机制特征匹配中的消息传递图神经网络聚合特征点信息。
[0096]
步骤s3，使用自我与联合注意力机制对前后图像帧进行分权重特征匹配。
[0097]
步骤s4，优化筛选已建立的特征匹配点对集合，并将优化后的高吻合度匹配点对与orb-slam2系统后端非线性优化、闭环修正相融合，进行相机位姿估计与局部地图构建。
[0098]
上述存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、光盘等各种可以存储程序代码的介质。
[0099]
上述关于计算机可读存储介质中程序执行后实现步骤的具体限定可以参见实施例一，在此不再做详细说明。
[0100]
实施例三：
[0101]
与本发明实施例一对应，本发明实施例三提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时依照实施例一的方法实现以下步骤。
[0102]
步骤s1，通过先验位置估计特征提取图神经网络，对图像特征点进行快速均匀检测与描述，构建真实准确特征点信息。
[0103]
步骤s2，通过图注意力机制特征匹配中的消息传递图神经网络聚合特征点信息。
[0104]
步骤s3，使用自我与联合注意力机制对前后图像帧进行分权重特征匹配。
[0105]
步骤s4，优化筛选已建立的特征匹配点对集合，并将优化后的高吻合度匹配点对与orb-slam2系统后端非线性优化、闭环修正相融合，进行相机位姿估计与局部地图构建。
[0106]
上述关于计算机设备实现步骤的具体限定可以参见实施例一，在此不再做详细说明。
[0107]
需要说明的是，本发明的说明书附图中的框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与获得机指令的组合来实现。
[0108]
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的发明构思和技术方案进行的各种非实质性的改进，或未经改进将本发明构思和技术方案直接应用于其它场合的，均在本发明保护范围之内。
技术特征：1.基于图神经网络特征提取与匹配的移动机器人地图构建方法，其特征在于：包括下列步骤：步骤s1，通过先验位置估计特征提取图神经网络，对图像特征点进行快速均匀检测与描述，构建相应特征点信息；输入图像经编码层处理生成对应输入图像信息的8
×
8特征映射集合，之后使用划分像素区域估计位置坐标的方法，结合关键点位置坐标与特征点描述符，使用多层感知机将特征点位置坐标嵌入到高维向量，并通过先验位置估计特征提取网络估计每个输出的8
×
8特征映射集合的相对图像坐标，并将其映射到全局图像像素坐标，融合特征点的初始相对位置坐标、视觉描述符与置信度得到特征点信息；步骤s2，通过图注意力机制特征匹配中的消息传递图神经网络聚合特征点信息；步骤s3，使用自我与联合注意力机制对前后帧图像进行分权重特征匹配；步骤s4，优化筛选己建立的特征匹配点对集合，并将优化后的高吻合度匹配点对与系统后端的非线性优化、闭环修正算法相融合，进行相机位姿估计与局部地图构建。2.根据权利要求1所述的基于图神经网络特征提取与匹配的移动机器人地图构建方法，其特征在于：所述步骤s1中，由先验位置估计特征提取网络模型提取图g
a
前m个特征点a＝{1，
…
，m}，提取图g
b
前n个特征点b＝{1，
…
，n}，两张图像两组关键点位置l和描述符d编码为局部特征(l，d)；该先验位置估计特征提取网络模型包括两个通道数分别为256和2的卷积层，在sigmoid函数激活层之后，使用回归方式估计8
×
8特征映射集合内坐标在[0，1]范围内的偏移量，预测特征点在该特征映射集合的相对像素位置。3.根据权利要求2所述的基于图神经网络特征提取与匹配的移动机器人地图构建方法，其特征在于：所述步骤s1中，由相对图像坐标映射到全局图像像素坐标的转换公式与区域内特征点融合公式如下所示：式中，
(0)
p
i
为区域内融合特征点初始相对位置坐标、视觉描述符与置信度的特征点信息，d
i
为特征点描述符，mlp为多层感知机，(x，y)
i
为全局图像像素坐标，初始为(
(0)
l
x
(a，b)，
(0)
l
y
(a，b))，，c
i
为该特征点置信度，a为位置估计区域纵坐标，b为位置估计区域横坐标，
(0)
l
x
(a，b)为图像像素横坐标，
(0)
l
y
(a，b)为图像像素纵坐标，
(n)
l
a
为第n层位置估计区域横坐标，
(n)
l
b
第n层位置估计区域纵坐标，s
ds
是降采样因子为8的降采样函数。4.根据权利要求1所述的基于图神经网络特征提取与匹配的移动机器人地图构建方法，其特征在于：所述步骤s2中，图可以定义为由节点和连接节点的边构成，本方法定义了两种类型无向边，在单张图像上的自我注意力无向边，特征点在单张图像内连接着同一图像内其它特征点，在前后图像帧之间的联合注意力无向边，特征点连接着其它图像特征点；本方法提出一种消息传递公式沿着两种无向边传递特征节点信息，利用多重消息传递网络从低层特征节点向高层特征节点传递信息，通过聚集所有特征节点的所有无向边信息，在每一层计算更新特征节点状态；此过程消息传递公式把融合先验位置信息的特征点信息传递到中心节点，在多层卷积层网络中融合全局图像像素坐标进行优化。
5.根据权利要求4所述的基于图神经网络特征提取与匹配的移动机器人地图构建方法，其特征在于：所述步骤s2中，经过大量匹配特征点对训练先验位置估计特征提取网络模型，通过无监督损失函数对输入图像进行多角度、多尺度单应性训练提取相同场景的3d点，实现对特征点的优化，图像a中特征节点信息更新公式包括所述消息传递公式具体如下所示：式中，[
·
||
·
]表示并列，
(κ)
p
ia
为图像a上κ层的特征节点，
(κ+1)
p
ia
为κ+1层图像聚合特征点，
(κ)
n
i
为图像a上κ层的邻域特征节点，m
ε
→
i
表示为所有特征节点{j：(i，j)∈ε}的聚合结果，其中ε具有自我注意力与联合注意力两种类型，l
c
为无监督特征点的置信度损失项，l
xy
为相对特征点位置均匀分布正则项，l
desc
为学习描述符表示项，l
decorr
为特征点描述符正则项，每类损失项由不同因子λ加权，最后两个损失项l
desc
与l
decorr
只对描述符进行优化，l
decorr
通过去除相关描述符来减少过拟合，消息传递公式里的d
i
+mlp[(x，y)
i
，c
i
]在卷积层第一层即由步骤s1所得的融合后的特征点信息
(0)
p
i
。6.根据权利要求1所述的基于图神经网络特征提取与匹配的移动机器人地图构建方法，其特征在于：所述步骤s3中，使用基于消息传递的图神经网络，充分聚合特征点邻域内空间位置信息与视觉灰度特征，利用自我注意力机制增大在高响应区域特征权重，然后集中迭代单帧图像上显著或相邻特征点，通过联合注意力机制在两张图像上搜索相似或共有特征点，消除无法匹配的低质量特征点；分权重匹配时特征节点的融合计算所需的图像特征集合与图像特征矩阵键值对对象通过图神经网络中的线性投影计算。7.根据权利要求6所述的基于图神经网络特征提取与匹配的移动机器人地图构建方法，其特征在于：所述步骤s3中，分权重匹配时特征节点的融合计算公式如下所示：式中，w
ij
为注意力权重，
(κ)
m
ε
→
i
为融合后的特征消息，
(κ)
m为κ层消息传递函数，为特征点的特征点状态，e
ij
为相连两个特征点的特征向量，i和j为经softmax归一化的图像特征行和列，q
i
表示查询得到的图像特征集合，g
j
为图像特征矩阵键值对对象，图像特征集合是指特征点位置集合，图像特征矩阵键值对对象是指图像中已匹配的特征点对；线性投影计算公式如下所示：式中，属于a集合，q
i
表示查询得到的图像特征集合，g
i
为图像特征矩阵键值对对象，为邻域融合特征点描述符，为集合b中κ层特征点，w1、w2与w3为注意力权重，χ1、x2与x3为系数。8.根据权利要求1所述的基于图神经网络特征提取与匹配的移动机器人地图构建方法，其特征在于：所述步骤s4中，通过优化匹配网络生成局部特征吻合度分配矩阵优化特征
匹配，本方法使用匹配描述符的吻合度来表征匹配对相似程度，吻合度公式如下所示：式中，属于集合a
×
b，ψ
i，j
为匹配对吻合度，<
·
，
·
>为其二者内积，
(κ)
p
ia
为图像a上κ层的特征节点，
(κ)
p
ib
为图像b上κ层的特征节点，w
i
为图像a对应特征点权重，w
j
为集合b对应特征点权重，x
i
为集合a中特征点对应系数，x
j
为图像b中特征点对应系数；本方法通过设立一个低吻合度集合，收纳匹配错误可能性极大、吻合度低于β的匹配对，通过添加一个新的矫正行和列，来进行显式特征匹配，矫正公式如下所示：式中，为集合a中特征点矫正后权重，为集合a中κ层邻近特征点，集合a中矫正后系数，为集合a中特征点矫正后权重，为集合a中κ层邻近特征点，集合a中矫正后系数，m和n为低吻合度集合行和列。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-8中任一所述的基于图神经网络特征提取与匹配的移动机器人地图构建方法的步骤。10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-8中任一所述的基于图神经网络特征提取与匹配的移动机器人地图构建方法的步骤。
技术总结本发明公开了基于图神经网络特征提取与匹配的移动机器人地图构建方法、存储介质及设备，其中方法包括下列步骤：步骤S1，通过先验位置估计特征提取图神经网络，对图像特征点进行快速均匀检测与描述，构建相应特征点信息；步骤S2，通过图注意力机制特征匹配中的消息传递图神经网络聚合特征点信息；步骤S3，使用自我与联合注意力机制对前后帧图像进行分权重特征匹配；步骤S4，优化筛选已建立的特征匹配点对集合，并将优化后的高吻合度匹配点对与系统后端的非线性优化、闭环修正算法相融合，进行相机位姿估计与局部地图构建。本发明有助于提升特征提取算法在面对外界光照变化剧烈与纹理稀疏场景下的稳定性与准确性，并加快特征匹配的速度。配的速度。配的速度。
技术研发人员：陈孟元 刘金辉 陈晓飞 徐韬 韩朋朋
受保护的技术使用者：安徽工程大学
技术研发日：2022.04.21
技术公布日：2022/7/5
