本发明涉及电力巡检缺陷领域，具体涉及一种基于电力缺陷多模态模型的微调方法、设备和介质。
背景技术：
1、近年来，随着我国经济的快速发展和城市化进程的不断推进，电力需求呈现出爆发式增长的态势。电力系统作为能源传输和分配的重要环节，已经成为人民生产和生活中最不可或缺的基础设施之一。为了保证电力系统的正常运行，需要对电力工作人员在各个作业场景中的状态进行巡检，保证作业人员的高效率和作业安全。在电力巡检缺陷领域中，有着丰富的算法需求，例如：设备表计表盘模糊破损、绝缘子破裂、金属件锈蚀、螺母销钉缺失等场景，这些场景都需要使用算法进行准确的分析，提升作业规范性、安全性，降低成本等。本发明主要应用在电力巡检缺陷领域中的螺母销钉缺失与绝缘子破裂检测场景中。传统的判断方法通常使用视觉小模型结合人工来进行判断，该场景的判断规范细致复杂，需要对各类目标要素之间的关系进行综合逻辑分析才能判定是否违规，比如：螺母销钉是否成套搭配、绝缘子与其他相识目标的细微差异等。视觉小模型不具备逻辑思考能力，因此无法给出有效的缺陷告警，导致漏报率和误报率均较高。结合多模态大模型算法，有效的降低了漏报率和误报率，从而实现高响应高精度的全天候巡检。
2、随着深度学习计算的发展，大模型相关的技术已经取得了非常不错的效果，并广泛利用于各行各业。大语言模型通过在丰富的数据集上进行预训练，具备了强大的逻辑推理能力。多模态大模型是近两年的前沿方向，通过结合不同模态的数据(如文本、图像、语音等)从而提升模型的学习、推理和生成能力。多模态大模型通过融合视觉模型和大语言模型的特征，能够更全面的理解图像所包含的信息，并结合文本中的提示信息，从而解决更复杂的任务。将其应用与电力巡检缺陷领域中，能有效的提升模型检测性能。
3、虽然开源的多模态大模型已经展示了强大的图像检测和逻辑思考能力，但其并不具备电力巡检缺陷领域的专业知识，无法直接在物联网设备上部署。需要使用实际应用场景的数据进行不断的微调迭代，才能达到应用落地的标准。在使用传统方法微调的过程中，多模态大模型通常会遗忘掉之前学习到的知识和逻辑推理能力，在微调过程中，由于新增数据通常存在场景复杂度高但数据分布不均衡的问题，导致无法全量高效利用收集到的数据，构建专家反馈的动态训练集生成模块，提高数据利用率，从而提高微调后的模型性能。
技术实现思路
1、本发明所要解决的技术问题是对缺陷进行微调时，存在场景复杂度高但数据分布不均衡的问题，导致无法全量高效利用收集到的数据，目的在于提供一种基于电力缺陷多模态模型的微调方法、设备和介质，通过获取基于专家评分的微调数据集，微调数据集的类型分布动态构建训练集，构建教师-学生模型，采用训练集对教师-学生模型进行训练，采用kl散度对训练后的教师-学生模型进行模型拟合，得到拟合模型，根据微调数据集和拟合模型，基于instructblip基础架构建立多模态微调模型，对多模态微调模型进行训练和优化，得到优化后的多模态微调模型进行缺陷微调。通过动态构建具有专家知识的训练集，解决了新增数据集存在的数据分布不均衡问题，从而高效率的使用新增的数据集，保证微调后的多模态模型具有高泛化能力和高稳定性。
2、本发明通过下述技术方案实现：
3、本发明第一方面提供一种基于电力缺陷多模态模型的微调方法，包括以下具体步骤：
4、获取目标微调数据，对目标微调数据进行数据预处理，得到基于专家评分的微调数据集；
5、获取目标微调数据的类型，得到微调数据集的类型分布；
6、按照类型分布对微调数据集进行划分，根据微调数据集的类型分布动态构建训练集；
7、构建教师-学生模型，采用训练集对教师-学生模型进行训练，采用kl散度对训练后的教师-学生模型进行模型拟合，得到拟合模型；
8、根据微调数据集和拟合模型，基于instructblip基础架构建立多模态微调模型，对多模态微调模型进行训练和优化，得到优化后的多模态微调模型进行缺陷微调。
9、本发明通过获取基于专家评分的微调数据集，微调数据集的类型分布动态构建训练集，构建教师-学生模型，采用训练集对教师-学生模型进行训练，采用kl散度对训练后的教师-学生模型进行模型拟合，得到拟合模型，根据微调数据集和拟合模型，基于instructblip基础架构建立多模态微调模型，对多模态微调模型进行训练和优化，得到优化后的多模态微调模型进行缺陷微调。通过动态构建具有专家知识的训练集，解决了新增数据集存在的数据分布不均衡问题，从而高效率的使用新增的数据集，保证微调后的多模态模型具有高泛化能力和高稳定性。
10、进一步的，所述对目标微调数据进行数据预处理，具体包括：
11、对目标微调数据进行数据清洗，对清洗后的数据：
12、基于专家评分法对新增数据进行标注，基于标注的数据，得到基于专家评分的微调数据集。
13、进一步的，所述根据微调数据集的类型分布动态构建训练集，具体包括：
14、按照类型分布对微调数据集进行划分，得到训练集data1，data2，data3，...，datan；
15、在训练过程中，每一轮训练迭代开始前，使用学生模型对训练集data1，data2，data3，...，datan进行预测；
16、筛选出每个训练集预测结果错误数据dataerr1，dataerr2，dataerr3，...dataerrn；
17、记录错误样本最少的集合对应的数量num，若某一个集合总样本量大于num，从每一个错误数据集合中选取随机采样num个数据作为训练数据；
18、若某一个集合总样本量小于num，则该错误数据集合中所有数据都训练数据。
19、进一步的，所述采用kl散度对训练后的教师-学生模型进行模型拟合，具体包括：
20、采用kl散度构建损失函数，度量学生模型输出的概率分布与教师模型输出的概率分布之间的差异，即蒸馏学习损失数据；
21、所述损失函数包括：
22、
23、其中，t(x)为教师模型的输出，s(x)为学生模型的输出。
24、进一步的，所述对多模态微调模型进行训练和优化，包括：
25、采用bert的交叉注意力机制，对齐多模态微调模型的语言与视觉特征，具体包括：
26、
27、其中，qtxt为语言文本的查询嵌入queryembedding，kimg为视觉图像的密钥嵌入valueembedding，vimg为图像的价值嵌入valueembedding，其中crossattn表示交叉注意力，可以进行间隔设置，即每隔特定数量的layer对文本和图像embedding进行融合。
28、在对其多模态微调模型的语言与视觉特征后，采用根据微调数据集的类型分布动态构建训练集对多模态微调模型进行迭代训练；
29、基于kl散度构建的蒸馏损失函数对训练后的多模态微调模型进行优化，得到优化后的多模态微调模型
30、进一步的，所述基于kl散度构建的蒸馏损失函数对训练后的多模态微调模型进行优化，具体包括：
31、构建监督损失函数，包括：
32、
33、其中，s(x)表示学生模型的输出，y表示真实的标签数据。
34、将蒸馏损失函数和监督损失函数进行加权和，得到微调过程中的整体损失，包括：
35、ltotal＝αlkl+βlce
36、其中，α和β为权重参数，用于平衡两种损失在训练过程中的贡献；
37、对整体损失进行衰减，得到优化后的多模态微调模型。
38、进一步的，所述对整体损失进行衰减，具体包括：
39、
40、其中，γt表示第t轮迭代时的学习率，γmin表示学习率的最小值，γmax表示学习率的最大值，tcur表示当前训练的迭代轮数，tmax表示总的训练迭代轮数。
41、进一步的，对微调后的电力缺陷多模态大模型进行评估，具体包括：
42、
43、其中，precision为精确率，recall为召回率。
44、本发明第二方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现一种基于电力缺陷多模态模型的微调方法。
45、本发明第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种基于电力缺陷多模态模型的微调方法。
46、本发明与现有技术相比，具有如下的优点和有益效果：
47、通过获取基于专家评分的微调数据集，微调数据集的类型分布动态构建训练集，构建教师-学生模型，采用训练集对教师-学生模型进行训练，采用kl散度对训练后的教师-学生模型进行模型拟合，得到拟合模型，根据微调数据集和拟合模型，基于instructblip基础架构建立多模态微调模型，对多模态微调模型进行训练和优化，得到优化后的多模态微调模型进行缺陷微调。通过动态构建具有专家知识的训练集，解决了新增数据集存在的数据分布不均衡问题，从而高效率的使用新增的数据集，保证微调后的多模态模型具有高泛化能力和高稳定性。
1.一种基于电力缺陷多模态模型的微调方法，其特征在于，包括以下具体步骤：
2.根据权利要求1所述的基于电力缺陷多模态模型的微调方法，其特征在于，所述对目标微调数据进行数据预处理，具体包括：
3.根据权利要求1所述的基于电力缺陷多模态模型的微调方法，其特征在于，所述根据微调数据集的类型分布动态构建训练集，具体包括：
4.根据权利要求1所述的基于电力缺陷多模态模型的微调方法，其特征在于，所述采用kl散度对训练后的教师-学生模型进行模型拟合，具体包括：
5.根据权利要求1所述的基于电力缺陷多模态模型的微调方法，其特征在于，所述对多模态微调模型进行训练和优化，包括：
6.根据权利要求5所述的基于电力缺陷多模态模型的微调方法，其特征在于，所述基于kl散度构建的蒸馏损失函数对训练后的多模态微调模型进行优化，具体包括：
7.根据权利要求6所述的基于电力缺陷多模态模型的微调方法，其特征在于，所述对整体损失进行衰减，具体包括：
8.根据权利要求1所述的基于电力缺陷多模态模型的微调方法，其特征在于，对微调后的电力缺陷多模态大模型进行评估，具体包括：
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述的基于电力缺陷多模态模型的微调方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8任一项所述的基于电力缺陷多模态模型的微调方法。
