本发明涉及自动驾驶即时定位与建图领域，具体涉及一种动态环境下的视觉slam回环检测方法及系统。
背景技术：
1、动态环境slam是指在动态环境下完成实时重定位与建图任务，这里的动态环境实际上就是指具有挑战性的自动驾驶真实应用环境，如车辆较多的城市道路和行人较多且运动不规律的路口。传统的slam方法面对上述的挑战性环境时，往往会出现重定位错误和建图失败的问题，进而导致整个slam任务的失败。然而，近年来随着传感器技术和机器学习技术的飞速发展，动态环境slam的研究也深受影响。研究者积极尝试利用多种传感器和图像技术来识别、跟踪和判断目标的动态属性，以应对动态环境下的slam问题。根据不同类型的传感器，slam方法可分为基于视觉传感器的slam、基于激光雷达传感器的slam、以及基于多传感器融合的slam。
2、视觉slam解决方案包括单目、双目、rgb-d摄像机等传感器。因为传感器相对廉价，是目前slam研究领域的研究热点。
3、视觉slam基础架构中包括三个重要的组成部分，分别是前端视觉里程计、后端优化和回环检测。其中受到动态环境影响最大的是前端视觉里程计和回环检测部分，动态环境对后端优化部分的影响主要来自不可靠的前端及回环结果。所以，针对视觉动态slam，研究者们将研究重点聚焦于前端和回环检测两部分。
4、回环检测(loopback detection)是slam领域的关键研究内容。其对于确保slam系统的精确性和鲁棒性至关重要。特别是在视觉slam领域，回环检测发挥着不可或缺的作用。视觉slam主要依赖视觉传感器进行环境感知，然而在实际应用中，环境中非静态物体的存在，如行驶中的车辆、行走中的人等，往往会对传统的回环检测算法造成干扰，导致假性回环检测的发生。这会使得传统的回环检测算法如dbow、fbow、fab-map等失效，导致无法触发或误触发后端优化，降低轨迹估计精度。尽管前端动态去除的方法，如ds-slam和yolo-slam，已被广泛采用以减轻动态物体的影响，但在回环检测阶段，它们仍然面临挑战。这些方法的删除策略虽然有助于减少动态物体的干扰，但往往以降低图像匹配度为代价。这种降低的匹配度可能导致回环检测算法的性能下降，进而影响slam系统的整体精度和稳定性。近年来，为了应对上述问题，研究者们积极探索新的方法。其中，引入新的特征描述子算法和深度学习的方法被认为是实现更加鲁棒的图像匹配和高效回环检测的有效途径。通过设计和应用更具区分度和稳定性的特征描述子，可以在动态环境中更准确地提取和匹配图像静态部分特征，从而提高回环检测的准确性。此外，深度学习技术的快速发展为回环检测提供了新的可能性。通过训练深度学习模型，可以使其具备识别和排除动态物体的能力，进而实现更准确的回环检测。这些模型可以从大量数据中学习并提取有用的特征，以提高回环检测的鲁棒性和效率。具体的改进方法可以分为以下两类。
5、第一类，引入新的特征描述子算法的回环检测。此类算法需要设计基于二维图像的特征提取子与特征描述子，特征提取子用来表示图像中哪些像素点是特征点，描述子用来匹配两幅图中相同的特征点。最经典的描述子法是dbow词袋模型，此模型利用角点检测和brief特征描述子算法，根据图像中每一个特征点的匹配关系计算两幅图像的匹配概率，其优点是建立了特征字典，计算效率高。但是因为其描述每一个特征点而并不关心特征点之间的结构关系，所以在相同场景存在部分运动变化时会失效。类似的方法还有scancontext算法，与词袋模型不同，scan context描述子算法是全局描述子算法，其针对一个关键帧内的三维空间点，采用非直方图的方法将这些点映射到二维空间，使其特征描述具有全局性。scan context描述子算法的优点是其全局描述的思想，可以描述出一幅图的特征点之间的关系，缺点在于全局描述的方法对于一些局部的细节变化敏感，所以需要设定合适的阈值来对匹配结果进行定性判断，但由于图象变化区域规模的未知性导致此阈值设定合理性低。后续出现了scan context描述子算法的升级版本scan context++优化了特征点检索的过程，但并未解决上述问题。imaging lidar是视觉与激光雷达融合的回环检测方法，其原理依然延续自特征点描述方法，将三维空间的雷达特征点与二维的相机特征点进行融合标定，优点是因为其融合了激光雷达数据，可以获得更加精准的特征点在三维空间中的坐标。缺点是需要付出更多的计算代价。
6、第二类，基于深度学习方法的回环检测。此类方法希望在图像匹配阶段利用深度学习的方法进行特征匹配，提高回环的准确性。mu shoukat等人的工作提出了一种创新的单目视觉里程计和回环检测方法，该方法深度融合了深度学习技术，利用深度估计网络来增强视觉slam系统在复杂环境中的鲁棒性。通过深度学习提取的特征具有更强的表达能力和区分度，使得系统在处理具有动态挑战性的场景时表现出更强的鲁棒性。zhang等人在回环检测中引入了cnn(卷积神经网络)技术，他们利用cnn识别图像间的相似性，从而实现了高效的回环检测。cnn能够从原始图像中自动学习并提取出层次化的特征表示，这些特征对于光照变化、视角变换等具有一定的不变性，有助于提高回环检测的准确性。在cnn的基础上，loopnet进一步引入了注意力机制，为回环检测带来了新的突破。该方法通过注意力机制标注出图像中的非动态区域，并仅对这些区域的特征点进行特征对比。这种策略有效地降低了动态环境对系统性能的影响，提高了回环检测的精度和稳定性。基于深度学习的回环检测方法在性能上取得了显著的提升，但它们也面临着一些挑战。首先，深度学习模型的训练和推理过程通常需要大量的计算资源和时间，这在一定程度上限制了它们在实时视觉slam系统中的应用。其次，深度学习方法的性能高度依赖于训练数据的数量和质量。在有限的数据集上训练得到的模型可能无法充分泛化到各种实际场景中。
技术实现思路
1、为解决上述背景中的技术问题，本发明提出一种基于运动区域匹配的动态视觉slam回环检测方法及系统，所要解决的技术问题在于满足定位的实时性前提下，提高动态环境下视觉slam回环检测的准确性，从而提升系统整体的定位精度和稳定性。
2、为实现上述目的，本发明提供了一种动态环境下的视觉slam回环检测方法，步骤包括：
3、采用vlad对自动驾驶环境下采集到的图像进行特征向量提取；
4、从自动驾驶环境下采集到的imu数据中，提取帧间运动向量；
5、基于提取的特征向量和帧间运动向量，引入区域加权匹配策略判断回环位置，完成视觉slam的回环检测。
6、优选的，进行所述特征向量提取的方法包括：
7、利用orb算法提取图像特征点；
8、通过brief描述子对所述图像特征点进行描述；
9、使用k-means聚类算法对描述子进行聚类；
10、对聚类的描述子进行向量描述，最终形成vlad特征向量。
11、优选的，所述提取帧间运动向量的方法包括：从imu数据中获取连续帧之间的加速度和角速度数据，然后通过积分运算得到旋转和平移向量，并将提取到的帧间运动向量与所述vlad特征向量结合，增强回环检测的准确性和鲁棒性。
12、优选的，完成所述视觉slam的回环检测的方法包括：综合考虑所述vlad特征向量和所述帧间运动向量，利用区域加权匹配策略，在待匹配队列中计算图像序列与历史帧间的相似度，当连续帧与历史帧匹配度高时，触发回环检测，实现精确定位。
13、本发明还提供了一种动态环境下的视觉slam回环检测系统，所述系统用于实现上述方法，包括：图像特征向量提取模块、imu运动向量提取模块和区域加权匹配模块；
14、所述图像特征向量提取模块用于采用vlad对自动驾驶环境下采集到的图像进行特征向量提取；
15、所述imu运动向量提取模块用于从自动驾驶环境下采集到的imu数据中，提取帧间运动向量；
16、所述区域加权匹配模块用于基于提取的特征向量和帧间运动向量，引入区域加权匹配策略判断回环位置，完成视觉slam的回环检测。
17、优选的，特征向量提取模块的工作流程包括：
18、利用orb算法提取图像特征点；
19、通过brief描述子对所述图像特征点进行描述；
20、使用k-means聚类算法对描述子进行聚类；
21、对聚类的描述子进行向量描述，最终形成vlad特征向量。
22、优选的，所述运动向量提取模块的工作流程包括：从imu数据中获取连续帧之间的加速度和角速度数据，然后通过积分运算得到旋转和平移向量，并将提取到的帧间运动向量与所述vlad特征向量结合，增强回环检测的准确性和鲁棒性。
23、优选的，所述检测模块的工作流程包括：综合考虑所述vlad特征向量和所述帧间运动向量，利用区域加权匹配策略，在待匹配队列中计算图像序列与历史帧间的相似度，当连续帧与历史帧匹配度高时，触发回环检测，实现精确定位。
24、与现有技术相比，本发明的有益效果如下：
25、本发明提出的动态视觉slam回环检测方法，通过结合vlad特征向量提取和imu数据的运动向量，并引入区域加权匹配策略判断回环位置，显著提升了系统在动态环境下的回环检测准确性和鲁棒性。本发明能够有效地在动态环境或动态剔除后的环境下进行回环检测，减少假阳性和假阴性的检测结果，从而提高定位精度和建图稳定性。此外，该技术方案还具有实时性，满足了自动驾驶等应用场景对快速响应的需求。
1.一种动态环境下的视觉slam回环检测方法，其特征在于，步骤包括：
2.根据权利要求1所述的动态环境下的视觉slam回环检测方法，其特征在于，进行所述特征向量提取的方法包括：
3.根据权利要求1所述的动态环境下的视觉slam回环检测方法，其特征在于，所述提取帧间运动向量的方法包括：从imu数据中获取连续帧之间的加速度和角速度数据，然后通过积分运算得到旋转和平移向量，并将提取到的帧间运动向量与所述vlad特征向量结合，增强回环检测的准确性和鲁棒性。
4.根据权利要求1所述的动态环境下的视觉slam回环检测方法，其特征在于，完成所述视觉slam的回环检测的方法包括：综合考虑所述vlad特征向量和所述帧间运动向量，利用区域加权匹配策略，在待匹配队列中计算图像序列与历史帧间的相似度，当连续帧与历史帧匹配度高时，触发回环检测，实现精确定位。
5.一种动态环境下的视觉slam回环检测系统，所述系统用于实现权利要求1-4任一项所述的方法，其特征在于，包括：图像特征向量提取模块、imu运动向量提取模块和区域加权匹配模块；
6.根据权利要求5所述的动态环境下的视觉slam回环检测系统，其特征在于，特征向量提取模块的工作流程包括：
7.根据权利要求5所述的动态环境下的视觉slam回环检测系统，其特征在于，所述运动向量提取模块的工作流程包括：从imu数据中获取连续帧之间的加速度和角速度数据，然后通过积分运算得到旋转和平移向量，并将提取到的帧间运动向量与所述vlad特征向量结合，增强回环检测的准确性和鲁棒性。
8.根据权利要求5所述的动态环境下的视觉slam回环检测系统，其特征在于，所述检测模块的工作流程包括：综合考虑所述vlad特征向量和所述帧间运动向量，利用区域加权匹配策略，在待匹配队列中计算图像序列与历史帧间的相似度，当连续帧与历史帧匹配度高时，触发回环检测，实现精确定位。
