本发明涉及建筑工程施工安全，具体涉及一种基于数字孪生技术的施工现场多目标实时检测方法、系统、设备及介质。
背景技术：
1、建设工程项目本身具有复杂性、多样性、综合性等特点，在建筑产品的整个寿命周期中，施工阶段仍存在着污染大、效率低、安全风险突出等问题。增强项目管理能力，尤其是对突发风险的预警和管控能力，对推动建设工程安全建设尤为重要。而施工安全风险管理有赖于对施工现场的全面监测，传统的人工巡检难以实时捕捉并及时反馈现场的动态施工信息。随着技术水平的提升，物联传感技术的应用实现了对施工过程的实时监测，但工程施工过程往往是具有一定专业性及逻辑规则的，各参与方、现场的工程技术人员很难通过监测画面准确辨别潜在的危险状态，进而无法对风险做出及时应对，大大制约了施工现场的安全风险管理效率。为此，本发明综合运用计算机视觉技术与数字孪生技术，在unity中实时反映施工动态。以这种低成本的监测方式，全面覆盖建设工程施工现场，实现对施工一线的实时跟踪与管控，提升建设工程施工过程的信息沟通水平与现场管理水平。
技术实现思路
1、本发明第一个目的在于，针对上述提及的问题，提供一种基于数字孪生技术的施工现场多目标实时检测方法。
2、为实现上述目的，本发明采用如下技术方案：
3、一种基于数字孪生技术的施工现场多目标实时检测方法，其特征在于：包括如下步骤：
4、s1：搭建目标检测平台，通过编辑计算机编程语言连接建设工程建设施工现场的双目摄像机和其余监控设备，捕捉施工现场的视频流，并采用目标检测算法识别视频流中的人员、物料、机械设备各类目标；
5、s2：基于搭建的目标检测平台，采用行人重识别算法对识别出的人员、物料、机械设备各类检测目标的外观信息与运动模型予以数据关联，即将不同帧中检测到的对象建立关联，实现对施工现场中人员、物料、机械设备目标的运动轨迹追踪；
6、s3：利用双目立体匹配技术，比较左右两个摄像头拍摄到的图像中的像素位移，计算两者差值，得到施工现场中人员、物料、机械设备各类目标在三维空间中目标点到视觉传感器间的距离，再结合目标在图像中的位置信息实现对目标的准确定位，为后续的数字孪生模型构建提供数据；
7、s4：基于检测目标、目标轨迹与位置信息数据，利用建筑信息模型与建模软件建立施工现场中人员、物料、机械设备目标的数字孪生模型；
8、s5：将建模软件与unity引擎对接，通过导入建立的数字孪生模型，构建建设工程建设施工现场的三维数字场景，将由目标检测、追踪及定位获取的现场数据解析为人员、物料、机械设备状态信息，映射到建设工程建设施工现场的三维数字场景中。
9、在采用上述技术方案的同时，本发明还可以采用或者组合采用如下技术方案：
10、作为本发明的一种优选技术方案：所述步骤s1具体为：
11、s11：通过网络下载并安装目标检测算法所需的环境依赖包，创建一个机器学习库，完成对目标检测相关环境的配置；
12、s12：运用视频格式转换工具将双目摄像机和其余监控设备获取的视频文件转换为图片格式，后利用辅助标注工具对图片进行标注，生成与图片一一对应的第一文件格式文件；
13、s13：将标注后的第一文件格式文件转换为目标检测算法所需的第二文件格式，并按照8：2的比例划分模型训练的训练集和验证集；
14、s14：打开克隆后的目标检测算法代码中所需的第二文件格式文件，导入已发布的成果并使用相应的模型预训练权重，使特征提取更加明显，降低计算成本；
15、s15：修改模型中的配置文件和主函数文件，修改数据data和模型model目录下的相应的第三文件格式文件，将其中训练集和验证集的路径更改为自己制作的路径并更改类别数量与类别名称，再复制预训练权重并更改类别数量，更改主函数中的优化模型参数，后运行训练模型脚本文件；
16、s16：对执行目标检测任务脚本文件中主函数的入口进行模型参数的调整与修改，包括权重的路径地址weights、测试数据的视频的路径source、网络预测之后的视频的保存路径output，同时编写能够拥有计数功能的代码插入到训练过程中，实现对检测目标的识别。
17、作为本发明的一种优选技术方案：所述步骤s2具体为：
18、s21：通过网络下载计算机视觉库并利用包管理工具安装，选择图片测试运行环境，确保将计算机视觉库引入；
19、s22：使用计算机视觉库提供的背景分割器计算前景掩码；
20、s23：将在步骤s22中计算得到的前景掩码含有前景的白色值以及阴影的灰色值二值化，即将非纯白色的所有像素点均设置为纯白色；
21、s24：使用行人重识别算法对建设工程施工现场中的人员、物料、机械设备等目标进行追踪，首先运用其中的卡尔曼滤波器预测目标在下一顿所在位置及状态，将预测框与步骤s1所得到的检测框进行交并比匹配，并计算出代价矩阵，再使用匈牙利算法根据输入的代价矩阵对检测框进行最优匹配，利用重识别模型对物体的外观特征进行提取，赋予确认状态的跟踪框优先的匹配权，对于匹配成功的轨迹进行后续卡尔曼更新，否则将其补入未匹配成功的追踪器和未匹配成功的检测框，循环算法流程直至视频帧结束，获得检测目标在视频帧内的运动轨迹。
22、作为本发明的一种优选技术方案：所述步骤s3具体为：
23、s31：采用计算机视觉库中的水平索贝尔算子，通过映射的方式对双目相机捕获的图像进行预处理，原图像中的每个像素被映射到新的图像上，根据图像的边缘信息计算得到梯度信息并存储，以备后续代价计算；
24、s32：通过采样法对存储的梯度信息进行块截断代价计算，获得图像的绝对差值之和，对原图像进行绝对差值之和值的计算，找到与左边图像最为匹配的像素块；
25、s33：规划路径并对路径规划的参数进行设置，设计出马尔可夫能量方程，运用动态规划算法将各个路径上的匹配代价进行一维能量累积，计算出总体的匹配代价，将视差突变处产生的错误视差信息传播给后面的路径；
26、s34：对图像进行优化处理，通过亚像素插值填补视差空洞区域，利用唯一性检测去除匹配错误的视差值，最后经过左右一致性检测消除左右图像遮挡引起的视差匹配错误；
27、s35：运用计算得到的左右图像间的视差信息，恢复施工现场人员、物料、机械设备目标的三维空间坐标。
28、作为本发明的一种优选技术方案：所述步骤s4具体为：
29、s41：基于图纸，在建筑信息模型中建立相应的三维场景模型，并以第四文件格式导出模型文件；
30、s42：将第四文件格式的三维场景模型文件导入建模软件，根据步骤s3中得到的施工现场人员、物料、机械设备目标的样式与三维空间坐标，在场景模型中增加人员、物料、机械设备模型，使实际施工场景精确地映射到虚拟环境中；
31、s43：将建模软件中的精细化三维场景模型导出为第四文件格式的文件。
32、作为本发明的一种优选技术方案：所述步骤s5具体为：
33、s51：将从建模软件导出的第四文件格式的动画文件导入unity引擎中含有贴图的第四文件格式文件夹，再将其导入unity引擎中的格式文件；
34、s52：将资源assets文件夹内的第四文件格式的模型文件拖入到层级窗口内，使得人员、物料、机械设备模型呈现在unity引擎中的场景窗口里。
35、本发明第二个目的在于，提供一种基于数字孪生技术的施工现场多目标实时检测系统。
36、为此，本发明的上述目的通过如下技术方案实现：
37、一种基于数字孪生技术的施工现场多目标实时检测系统，包括：
38、目标检测模块、目标追踪模块、目标定位模块、数字孪生模型构建模块及施工现场实时反馈模块；
39、所述目标检测模块，该模块搭建目标检测平台，通过编辑计算机编程语言连接建设工程建设施工现场的双目摄像机和其余监控设备，捕捉施工现场的视频流，并采用目标检测算法识别视频流中的人员、物料、机械设备等各类目标；
40、所述目标追踪模块，该模块基于搭建的目标检测平台，采用行人重识别算法对识别出的人员、物料、机械设备等各类检测目标的外观信息与运动模型予以数据关联，即将不同帧中检测到的对象建立关联，实现对施工现场中人员、物料、机械设备等目标的运动轨迹追踪；
41、所述目标定位模块，该模块利用双目立体匹配技术，比较左右两个摄像头拍摄到的图像中的像素位移，计算两者差值，得到施工现场中人员、物料、机械设备等各类目标在三维空间中目标点到视觉传感器间的距离，再结合目标在图像中的位置信息实现对目标的准确定位，为后续的数字孪生模型构建提供数据；
42、所述数字孪生模型构建模块，该模块基于检测目标、目标轨迹与位置信息等数据，利用建筑信息模型与建模软件建立施工现场中人员、物料、机械设备等目标的数字孪生模型；
43、所述施工现场实时反馈模块，该模块将建模软件与unity引擎对接，通过导入建立的数字孪生模型，构建建设工程建设施工现场的三维数字场景，将由目标检测、追踪及定位获取的现场数据解析为人员、物料、机械设备状态信息，映射到建设工程建设施工现场的三维数字场景中。
44、本发明第三个目的在于，提供一种电子设备。
45、为实现上述目的，本发明采用如下技术方案：
46、一种电子设备，所述电子设备包括处理器、通信接口、存储器和通信总线，所述处理器、通信接口、存储器之间通过通信总线完成相互间的通信，其特征在于：
47、存储器，所述存储器用于存储计算机程序，
48、处理器，所述处理器用于执行存储器上所存储的计算机程序以实现如前文所述的基于数字孪生技术的施工现场多目标实时检测方法步骤。
49、本发明还有一个目的在于，提供一种计算机可读存储介质。
50、为实现上述目的，本发明采用如下技术方案：
51、一种计算机可读存储介质，其特征在于：所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如前文所述的基于数字孪生技术的施工现场多目标实时检测方法步骤。
52、本发明提供一种基于数字孪生技术的施工现场多目标实时检测方法、系统、设备及介质，具有如下有益效果：基于深度学习算法对建设工程施工现场中人员、物料、机械设备等各类目标进行快速检测，提高了监测的效率与准确性，自动化程度高，同时也为数字孪生技术的实现提供了数据支持；通过建立施工现场的数字孪生模型，将分散的各类监测单位纳入统一的管理系统，实现对现场多维度的感知和分析，从而极大增强项目对一线施工现场的管理深度和广度；利用unity实时反映作业状况，实现对施工现场的实时监测和反馈，有效提升建设工程的管理水平。
1.一种基于数字孪生技术的施工现场多目标实时检测方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的基于数字孪生技术的施工现场多目标实时检测方法，其特征在于：所述步骤s1具体包括以下子步骤：
3.根据权利要求1所述的基于数字孪生技术的施工现场多目标实时检测方法，其特征在于：所述步骤s2具体包括以下子步骤：
4.根据权利要求1所述的基于数字孪生技术的施工现场多目标实时检测方法，其特征在于：所述步骤s3具体包括以下子步骤：
5.根据权利要求1所述的基于数字孪生技术的施工现场多目标实时检测方法，其特征在于：所述步骤s4具体包括以下子步骤：
6.根据权利要求1所述的基于数字孪生技术的施工现场多目标实时检测方法，其特征在于：所述步骤s5具体包括以下子步骤：
7.一种基于数字孪生技术的施工现场多目标实时检测系统，其特征在于：所述施工现场多目标实时检测系统包括：目标检测模块、目标追踪模块、目标定位模块、数字孪生模型构建模块及施工现场实时反馈模块；
8.一种电子设备，所述电子设备包括处理器、通信接口、存储器和通信总线，所述处理器、通信接口、存储器之间通过通信总线完成相互间的通信，其特征在于：
9.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6中任意一项所述的基于数字孪生技术的施工现场多目标实时检测方法步骤。
