飞行器室内自主探索导航方法及系统

allin2025-02-16  57


本发明属于机器人,特别涉及一种飞行器室内自主探索导航方法及系统。


背景技术:

1、随着无人机行业的快速发展,工业、商业和个人领域对室内无人机应用的需求日益增长。然而,室内空间的复杂性和多变性对无人机的自主探索导航能力提出了更高的要求。

2、传统的无人机导航技术主要依赖传感器和复杂算法,往往只涉及底层的建图和控制,解决了点到点的导航避障的问题,对于高层次的结合视觉信息的导航规划和推理(如结合环境信息自主设定起点与终点)则显得力不从心。此外,它们一般对输入指令的形式也有一定要求,无法按照人类下发的自然语言指令完成导航任务。

3、近年来,随着计算机视觉和自然语言处理等人工智能技术的快速发展,人们开始将研究目光投向了预训练大语言模型(llm)。由于预训练语言模型(plm)等大模型已经在大规模语料库中进行了预训练,因此它们本身包含大量的知识,具有强大的多任务学习和迁移学习能力,可有效解决跨领域、跨任务的泛化应用问题。因此,如何使用大语言模型提高无人机导航的可靠性,实现更灵活的导航策略成为一个亟待解决的问题。


技术实现思路

1、为解决上述技术问题,本发明提供一种飞行器室内自主探索导航方法,包括如下步骤:

2、步骤s1:飞行器接收用户的自然语言形式或者图片形式的导航目标;

3、步骤s2:对记忆模块进行检索以判断导航目标是否存在于记忆模块中:如果不存在,则转到步骤s3;否则,转到步骤s6;其中,所述记忆模块所存储信息包括:物体种类、物体空间坐标和物体rgb图像;

4、步骤s3:飞行器在当前位置首先完成原地旋转的动作,通过其携带的深度相机获取周围物体的rgb图像和深度图像,分别完成对物体的识别及其空间坐标的计算;将物体添加至所述记忆模块,以及更新物体地图,所述物体地图包括:二维栅格地图与对应的物体信息;判断所述导航目标是否存在所述记忆模块中;如果不存在,则转到步骤s4;否则转到步骤s6;

5、步骤s4:将所述二维栅格地图进行骨架化,得到候选点以及路径;

6、步骤s5:使用大语言模型及物体地图信息基于所述物体和所述路径对所述候选点进行打分,分数包括:探索未知区域得分、历史轨迹得分以及找到导航目标得分;将得分最高的候选点作为目标点;

7、步骤s6:基于已有的rgbd slam方案完成飞行器从当前位置到所述目标点的导航,同时在导航的过程中完成所述记忆模块与所述物体地图的更新,判断是否已经找到所述导航目标;如果是则导航结束;否则,转至步骤s3。

8、有益效果:

9、1、本发明公开了一种飞行器室内自主探索导航的方法,借助目前成熟的目标检测模型,完成对飞行器视野内的物体进行识别的功能,同时利用实体分割与深度图像配合,计算得到物体的空间信息,使之作为飞行器进行导航探索与是否完成任务的依据。

10、2、本发明基于自然语言形式或者图片形式的导航目标,借助大语言模型的常识推理能力,大大提高了飞行器在室内复杂格局下的探索导航效率,大语言模型首先与记忆模块配合,通过读取记忆模块中的现有物体类别,完成对导航目标的高效匹配,其次,完成对候选点路径信息的总结同时结合导航目标信息完成对候选点的打分,为下一个导航目标点的选取提供依据。

11、3、本发明在导航过程中,飞行器利用图结构rvg,将规划过程系统化为跨图节点的导航子任务,如果在视野或者记忆模块中匹配到导航目标,则进行飞行器位置与导航位置两者之间的最小成本节点的规划,同时应用常见路径规划算法完成局部路径规划,最后将子路径连接在一起获得最终路径;如果没有匹配到导航目标,则基于大语言模型以及综合物体以及路径信息对候选点进行打分,包括对探索未知区域的贡献得分,找到目标的可能性,以及是否已经经过三个部分,取得分最高的候选点作为探索目标点,在到达导航目标点的过程中不断更新物体地图以及地图模块直到匹配到导航目标。



技术特征:

1.一种飞行器室内自主探索导航方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的飞行器室内自主探索导航方法,其特征在于,所述步骤s2:对记忆模块进行检索以判断导航目标是否存在于记忆模块中:如果不存在,则转到步骤s3;否则,转到步骤s6;其中,所述记忆模块所存储信息包括:物体种类、物体空间坐标和物体rgb图像,具体包括:

3.根据权利要求2所述的飞行器室内自主探索导航方法,其特征在于,所述步骤s3:飞行器在当前位置首先完成原地旋转的动作,通过其携带的深度相机获取周围物体的rgb图像和深度图像,分别完成对物体的识别及其空间坐标的计算;将物体添加至所述记忆模块,以及更新物体地图,所述物体地图包括:二维栅格地图与对应的物体信息;判断所述导航目标是否存在所述记忆模块中;如果不存在,则转到步骤s4;否则转到步骤s6,具体包括:

4.根据权利要求3所述的飞行器室内自主探索导航方法,其特征在于,所述步骤s4:将所述二维栅格地图进行骨架化,得到候选点以及路径,具体包括:

5.根据权利要求4所述的飞行器室内自主探索导航方法,其特征在于,所述步骤s5:使用大语言模型及物体地图信息基于所述物体和所述路径对所述候选点进行打分,分数包括:探索未知区域得分、历史轨迹得分以及找到导航目标得分;将得分最高的候选点作为目标点,具体包括:

6.一种飞行器室内自主探索导航系统,其特征在于,包括下述模块:


技术总结
一种飞行器室内自主探索导航方法及系统,属于机器人技术领域,包括:S1:飞行器接收导航目标;S2:对记忆模块进行检索以判断导航目标是否存在于记忆模块中:若否,则转到S3;否则转到S6;S3:飞行器获取周围物体的RGB图像和深度图像,将物体添加至记忆模块并更新物体地图,判断导航目标是否存在记忆模块中;若否,则转到S4;否则转到S6;S4:将二维栅格地图进行骨架化,得到候选点以及路径;S5:对候选点进行打分,将得分最高的候选点作为目标点;S6:完成飞行器从当前位置到目标点的导航,判断是否已经找到导航目标;如果是则导航结束;否则转至S3。本发明方法利用大语言模型实现了在室内场景下的目标导航任务。

技术研发人员:林梦香,付裕祥
受保护的技术使用者:北京航空航天大学
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-18659.html

最新回复(0)