本发明涉及管道电缆巡检，特别是涉及一种融合热成像与可见光的排管电缆机器人及其识别方法。
背景技术：
1、随着经济的快速发展和和谐社会的构建，电网系统的建设规模越来越大，城市用电负荷的快速增长，对供电可靠性提出了越来越高的要求。越来越多的城市或人口密集区采用地下电缆输配电方式取代架空输电线路。电缆穿管敷设成为城市电网的重要组成部分。电缆线芯温度是电缆的一个重要参数。当电缆满负荷运行时，线芯温度往往已达到允许温度；电缆一旦超过负荷，线芯温度将急剧上升，高于允许温度，由此加速电缆绝缘老化，甚至发生绝缘介质热击穿，最后导致电缆火灾的发生。如果能在事故发生的早期提前进行预警并迅速采取措施，将能有效地避免此类事故的发生。但是，在城市电网运行维护过程中对管内电缆定期巡检或不定期故障排查，目前采用较多的是人工定期停电检修的方式，这种方式存在着停电带来经济损失大、客户用电中断、检修任务繁重等缺点。而管道机器人是一种可沿细小管道内部或者外部自行行走，携带一种或者多种传感器及操作机械，在工作人员的遥控操作或者计算机自动控制下，进行一系列管道作业的机、电、仪一体化系统，完全可以代替人力，对电缆进行带电温度检测。
2、目前的管道巡检机器人视觉识别的技术方案可以分为两类：第一：基于传感器数据的视觉识别；第二，基于图像处理的视觉识别。第一种方案通过搭载各种传感器，如激光雷达、超声波传感器、红外线传感器等，获取机器人周围环境的数据，然后利用这些数据进行环境建模和目标识别，从而实现视觉识别的功能；然而，对传感器数据进行实时处理和特征提取需要较强的计算能力，特别是在面对复杂的环境建模和目标识别时，传感器数据的处理需要大量的计算资源，而嵌入式系统的计算能力无法满足实时性要求。第二种方案通过机器人搭载摄像头或深度相机，获取周围环境的图像数据，然后利用图像处理和计算机视觉技术，对图像数据进行分析和处理，实现目标识别和理解；其中，摄像头或深度相机一般采用可见光视觉系统或红外视觉系统，其中，可见光视觉系统(如普通摄像头)在排管内可能受到光线不足、尘埃遮挡和反射影响，导致图像质量下降，无法获取清晰的图像，难以识别电缆细节；红外视觉系统尽管能提供温度信息，但可能受限于环境温度变化，难以区分电缆正常发热和异常发热点，仅依靠热成像可能难以准确判断电缆故障，特别是在缺乏可见信息的情况下无法做出更准确的故障判断。
技术实现思路
1、本发明的目的是提供一种融合热成像与可见光的排管电缆机器人及其识别方法，结合利用热成像与可见光的技术优势，相辅相成，实现热成像和补光抓拍的多模态数据融合，避免单一数据的局限性，提供更全面的电缆状态评估，具有自动化水平高、巡检快速准确的优点。
2、为实现上述目的，本发明提供了如下方案：
3、一种融合热成像与可见光的排管电缆机器人，包括管道巡检机器人以及搭载在管道巡检机器人上的热成像装置、补光抓拍设备、通信模块、内部存储器、数据采集模块以及处理单元，所述数据采集模块分别与所述热成像装置、补光抓拍设备连接，所述处理单元分别与所述数据采集模块、通信模块、内部存储器电性连接；
4、所述热成像装置用于采集电缆的热成像数据，并将热成像数据实时传递至数据采集模块；
5、所述补光抓拍设备包括补光组件与可见光摄像头，所述补光组件为所述可见光摄像头补光，所述可见光摄像头用于采集电缆的抓拍图像，并传递至数据采集模块；
6、所述数据采集模块用于根据热成像数据判断热成像是否发生异常，若是，控制所述补光抓拍设备开启，获得电缆的抓拍图像；
7、所述处理单元用于采用基于tiny yolov3构建的轻量级深度学习模型对热成像数据和电缆的抓拍图像进行特征提取，通过对比正常温度和视觉模式，进行分类，确定异常的具体类型和严重程度；
8、所述通信模块用于建立所述处理单元与远程监控中心的通信连接；
9、所述内部存储器用于存储热成像数据以及电缆的抓拍图像。
10、本发明还提供一种融合热成像与可见光的排管电缆机器人识别方法，应用于上述的融合热成像与可见光的排管电缆机器人，包括以下步骤：
11、s1，实时采集电缆的热成像数据；
12、s2，根据热成像数据判断热成像是否发生异常，若是，触发外部中断，将外部中断与热成像警示信息同步，控制补光抓拍设备开启，获得电缆的抓拍图像；
13、s3，采用基于tiny yolov3构建的轻量级深度学习模型对热成像和电缆的抓拍图像进行特征提取，通过对比正常温度和视觉模式，进行分类，确定异常的具体类型和严重程度；
14、s4，生成包含热成像异常图、补光抓拍的电缆的抓拍图像以及异常的具体类型和严重程度描述的警报信息，上传到远程监控中心，并存储在内部存储器。
15、根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的融合热成像与可见光的排管电缆机器人及其识别方法，第一采用热成像技术，无需依赖光线，可以在地下暗淡的环境中进行巡检，克服了传统可见光摄像头在光照不足情况下的局限性。第二是通过补光抓拍技术，在热成像发现异常时及时进行补光，这些额外的可见信息，可以支持技术人员做出更准确的故障判断，增强了系统的检测和诊断能力。第三是智能控制和即时响应，通过智能控制补光灯，实现了能量效率优化和对电缆温度影响的最小化，同时能够快速响应热成像信号，实现了对异常情况的即时处理和抓拍。第四是视觉识别实时性优化，通过采用轻量级深度学习模型、模型压缩、深度学习硬件加速以及多分辨率图像处理等技术手段，地下排管巡检系统在图像处理和识别方面实现了实时性的优化。这使得排管电缆机器人能够快速响应并实时监测电缆排管系统的状态，提高了故障检测和预警的效率。
1.一种融合热成像与可见光的排管电缆机器人，其特征在于，包括：管道巡检机器人以及搭载在管道巡检机器人上的热成像装置、补光抓拍设备、通信模块、内部存储器、数据采集模块以及处理单元，所述数据采集模块分别与所述热成像装置、补光抓拍设备连接，所述处理单元分别与所述数据采集模块、通信模块、内部存储器电性连接；
2.根据权利要求1所述的融合热成像与可见光的排管电缆机器人，其特征在于，所述热成像装置为非制冷微测辐射计、热电偶阵列、焦平面阵列传感器或近红外成像传感器；所述可见光摄像头采用工业级微型摄像头；所述处理单元采用gpu。
3.根据权利要求1所述的融合热成像与可见光的排管电缆机器人，其特征在于，所述数据采集模块采用stm32单片机，所述stm32单片机的配置方法，包括如下步骤：
4.一种融合热成像与可见光的排管电缆机器人识别方法，其特征在于，应用于权利要求1-3任一项所述的融合热成像与可见光的排管电缆机器人，包括以下步骤：
5.根据权利要求4所述的融合热成像与可见光的排管电缆机器人识别方法，其特征在于，所述s3中，基于tiny yolov3构建的轻量级深度学习模型的构建方法如下：
6.根据权利要求5所述的融合热成像与可见光的排管电缆机器人识别方法，其特征在于，所述3)设计融合+注意力机制复合模块的过程中，添加结构化剪枝算法以进一步优化模型，具体包括：
7.根据权利要求6所述的融合热成像与可见光的排管电缆机器人识别方法，其特征在于，所述s3中，基于tiny yolov3构建的轻量级深度学习模型的构建方法还包括模型预训练，所述模型预训练包括：
8.根据权利要求6所述的融合热成像与可见光的排管电缆机器人识别方法，其特征在于，所述s3中，基于tiny yolov3构建的轻量级深度学习模型的构建方法还包括模型微调，所述模型微调包括：
9.根据权利要求8所述的融合热成像与可见光的排管电缆机器人识别方法，其特征在于，所述数据预处理包括：
10.根据权利要求8所述的融合热成像与可见光的排管电缆机器人识别方法，其特征在于，所述s3中，还包括模型的推理：
