本发明涉及智能定位,尤其涉及一种通过结合sfm(structure frommotion)和pdr(pedestrian dead reckoning)技术,实现对移动终端拍摄的全景照片和pdr运动轨迹与bim模型的匹配和分析的方法和系统。
背景技术:
1、在建筑和工程领域,bim(building information modeling)模型已经成为一种常用的工具,用于设计、施工和维护建筑物。而全景照片则可以提供更加直观的视觉信息,用于记录和展示建筑物的实际情况。然而,如何将全景照片和bim模型进行匹配和分析,以实现更加精确的轨迹分析仍然是一个挑战。
2、现有技术中,只使用了全景视频这一种输入介质实现了与bim模型的空间关系匹配。但是,由于纯视觉的方案,在光照较差,或者光照变化大的场景下,效果会比较糟糕,会有错误匹配和匹配失败的情况。
技术实现思路
1、为了解决上述问题,本发明引入了pdr的传感器,使用pdr作为轨迹的参考,在较差的环境中可以弥补视觉方案的缺陷,使用pdr作为主导矫正轨迹,用于辅助图像sfm方法,以获得更准确的定位信息。本发明具体提供本发明提供如下技术方案:
2、一种基于bim模型的sfm结合pdr的轨迹分析方法,该方法包括以下步骤:
3、s1. 打开移动终端中的蓝牙和wifi功能按钮,打开数据处理对应的app,通过所述wifi连接全景相机,通过所述蓝牙连接imu传感器模块;在所述app中手动选择使用的相机型号,在所述app中对不同相机成像进行适配工作,确保生成的原始全景照片正方向朝向拍摄人正前方;
4、s2. 调用全景相机进行拍摄,获取全景视频;将所述全景视频处理成全景照片,并使用sfm方法生成sfm轨迹;
5、s3. 通过所述imu传感器获取原始运动数据文件,所述原始运动数据文件包括时间戳、四元数、线加速度和角加速度;通过对所述imu传感器获取的数据使用pdr算法计算生成完整的pdr运动轨迹;
6、s4. 将所述sfm轨迹和所述pdr运动轨迹融合矫正后与bim模型进行匹配;
7、s5. 将每一条数据上传到云端数据库保存,对应每一次采集任务,生成相应的数据信息集合;所述数据信息集合包含全景照片信息,位置信息,姿态信息以及所属bim模型编号的信息。
8、可选地,在所述s2中,对所述全景视频处理的过程是:
9、s21. 对所述全景视频取帧成所述全景照片;
10、s22. 根据设定fov(field of view)以及设定的朝向,将所述全景照片展开成平面照片;
11、s23. 对展开后的平面照片使用sfm方法,计算生成运动轨迹;通过对所述平面照片进行特征提取、匹配和相机运动估计,得到所述每一帧图像的相机位姿和位置。
12、可选地,在所述s3中,所述pdr运动轨迹生成的具体步骤包括:
13、s31. 从所述imu传感器中获取线加速度、角加速度、时间戳、四元数数据,并定义位置为原点处的姿态为初始姿态,设置初始速度为0;
14、s32. 对原始传感器的数据进行滤波和去噪处理;
15、s33. 通过线加速度的局部最大值检测步伐的开始和结束,根据设定的阈值,将步伐期间的数据段识别为步行运动数据;
16、s34. 针对每一段识别得到的步伐,都设置其起始速度为0,对三轴方向上的线加速度进行积分,得到速度增量;将所述速度增量累加到当前速度上,得到更新后的速度;对三轴方向上的速度进行积分,得到位置增量;将所述位置增量累加到当前位置上,得到更新后的位置;
17、s35. 重复步骤s33至s34,直到处理完所有的运动数据,生成所述完整的pdr运动轨迹。
18、可选地,在所述步骤s4中,所述匹配包括:
19、同步所述pdr运动轨迹和在所述app上选取的定位点的时间,通过不同的时间偏移量,将两者的时间都同步到从1开始计数,匹配两个数据中时间轴对应的起点和第二个点;将对应的两组点在平面上计算旋转平移缩放关系后,将所述pdr运动轨迹的数据矫正到所述bim模型上。
20、可选地,所述匹配还包括:
21、将所述pdr运动轨迹的数据与所述bim模型融合后,所述pdr得到结果的每一个点都能在所述bim模型上能找到对应的位置,以及每一个点都有对应的时间戳;
22、选取上述pdr的位置作为基底,用所述sfm得到的sfm轨迹数据去修正其位置和角度信息;
23、在得到上述pdr的位置基底后,对生成的每一段sfm轨迹数据进行处理,得到修正后的sfm轨迹;所述处理包括:
24、将原始pdr的位置复制一份作为会实时修正的轨迹数据;
25、对所述每一段sfm轨迹数据进行时间排序,并对其对所述时间排序的起点和终点作为对应的sfm轨迹的起点和终点,和所述pdr运动轨迹的数据进行匹配,通过sfm轨迹起点、终点的时间戳和pdr对应时间戳的位置信息匹配,使用这两组点实现旋转平移缩放的变换;在进行完成旋转平移缩放变换后,用所述sfm计算得到的照片角度,更新每一个位置上照片的朝向信息,将其作用于修正后的sfm轨迹;
26、将每一段sfm轨迹匹配到pdr轨迹并修正数据的位置和角度后,再次检索一遍修正后的完整轨迹,对于没有经过sfm轨迹修正的位置以及角度朝向的数据,仍使用所述作为基底的pdr的原始数据,并赋予一个用于代替的计算得到的角度信息。
27、可选地,所述矫正还包括:
28、对于没有使用sfm轨迹矫正的照片,将每一张照片放到对应的位置上,然后去寻找每一张照片的朝向;根据运动轨迹的前后位置做差的方法,得到每一个位置的朝向向量,通过所述朝向向量和所述bim模型水平轴的夹角,确定所述照片的朝向,用于矫正照片角度。
29、可选地,所述s5还包括:
30、在查看并分析所述信息集合时,加载所述信息集合,并在所述bim模型的对应空间位置生成旋转角的天空球,所述天空球是用于加载所述全景照片的容器,通过观看所述天空球的各个视角,都能保持标准的平面图片视角。
31、可选地,所述全景相机具有方向锁定功能,在合成视频时能够保持输出的视频朝向和相机镜头一个固定关系角度的方向。
32、本发明还提供一种基于bim模型的sfm结合pdr的轨迹分析系统,所述系统包括:
33、终端app,用于连接全景相机和imu传感器模块,手动选择相机类型;
34、数据处理模块,云端服务器接收和处理终端app上传的数据,并生成对应的处理任务;
35、数据融合模块,用于将每张全景照片和bim模型匹配的位置和姿态作为一个信息集合上传到云端数据库。
36、可选地,所述系统还包括:
37、信息查看模块,用于查看并分析所述信息集合;加载所述信息集合,并在所述bim模型的对应空间位置生成旋转角的天空球,所述天空球是用于加载所述全景照片的容器,通过观看所述天空球的各个视角,都能保持标准的平面图片视角。
38、本发明具有以下有益的技术效果:本发明提供一种基于bim模型的sfm结合pdr的轨迹分析方法及系统。本发明可以实现对建筑物或室内空间的轨迹分析,提供更准确的定位和导航服务。在本发明的方法中,首先通过移动终端连接全景相机和imu传感器模块,并选择相机类型进行适配,然后使用全景相机拍摄全景视频,并将其处理成全景照片;接着使用sfm方法生成sfm轨迹,通过对平面照片进行特征提取、匹配和相机运动估计,得到每一帧图像的相机位姿和运动轨迹;同时,通过imu传感器获取原始运动数据文件,包括时间戳、四元数、线加速度和角加速度;利用pdr算法计算生成完整的pdr运动轨迹,包括步伐检测、姿态矫正和位置更新;接下来,将sfm轨迹和pdr运动轨迹进行融合矫正,并与bim模型进行匹配;通过去除时间偏移量,计算旋转平移缩放关系,将pdr运动轨迹的数据矫正到bim模型上;最后,将每张全景照片和bim模型匹配的位置和姿态作为一个数据上传到云端数据库,并生成相应的信息集合。通过加载信息集合,并在bim模型的对应空间位置生成旋转角的天空球,可以方便地查看和分析信息集合。相较于现有技术,本发明通过结合sfm和pdr技术,可以实现采集得到的全景照片在建筑物或室内空间中精确定位轨迹和姿态,并进行施工过程的分析;同时,通过与bim模型的匹配,可以提供更直观、准确的轨迹可视化结果以及和bim模型的对比。
1.一种基于bim模型的sfm结合pdr的轨迹分析方法,其特征在于,该方法包括以下步骤:
2.根据权利要求1所述的一种基于bim模型的sfm结合pdr的轨迹分析方法,其特征在于,在所述s2中,对所述全景视频处理的过程是:
3.根据权利要求1所述的一种基于bim模型的sfm结合pdr的轨迹分析方法,其特征在于,在所述s3中,所述pdr运动轨迹生成的具体步骤包括:
4.根据权利要求1所述的一种基于bim模型的sfm结合pdr的轨迹分析方法,其特征在于,在所述步骤s4中,所述匹配包括:
5.根据权利要求4所述的一种基于bim模型的sfm结合pdr的轨迹分析方法,其特征在于,所述匹配还包括:
6.根据权利要求1、4-5中任一项所述的一种基于bim模型的sfm结合pdr的轨迹分析方法,其特征在于,所述矫正还包括:
7.根据权利要求1所述的一种基于bim模型的sfm结合pdr的轨迹分析方法,其特征在于,所述s5还包括:
8.根据权利要求1所述的一种基于bim模型的sfm结合pdr的轨迹分析方法,其特征在于,所述全景相机具有方向锁定功能,在合成视频时能够保持输出的视频朝向和相机镜头一个固定关系角度的方向。
9.一种基于bim模型的sfm结合pdr的轨迹分析系统,用于实现权利要求1-8中任一项所述的一种基于bim模型的sfm结合pdr的轨迹分析方法,其特征在于,所述系统包括:
10.根据权利要求9所述的一种基于bim模型的sfm结合pdr的轨迹分析系统,其特征在于,所述系统还包括:
