本发明涉及网络管理,尤其涉及一种深度学习模型的管理控制方法及装置。
背景技术:
1、在现代电网系统的发展背景下,智能化水平的不断提升和可再生能源的广泛融入使得电网流量管理的复杂性日益增加。传统的电网流量管理方法主要依赖于预设的规则和人工干预,这在处理大规模、多维度的数据时面临诸多挑战。为了应对这些挑战,深度学习技术的引入成为了提升电网流量管理智能化水平的关键转折点。深度学习作为人工智能领域的一个重要分支,通过模拟人脑处理信息的机制,能够从海量的数据中学习并识别出复杂的模式和特征,这一能力对于电网流量分析尤为重要,因为它可以帮助预测和优化电网的运行状态,提高电网的稳定性和效率。然而,深度学习模型的训练和部署是一个涉及大量数据处理、网络结构选择和超参数调整的复杂过程。随着电网环境的持续变化,模型需要定期进行更新以保持其准确性和有效性。
2、电网的天然需求,如实时性、大数据量处理、高复杂性、安全性和可扩展性,要求深度学习模型能够适应快速变化的环境并频繁更新。但由于深度学习模型的更新通常需要大量的人工知识输入,频繁的更新在实际操作中往往是不现实的。
3、专利文本cn110554995a公开了一种深度学习模型的管理方法及系统,该方法从服务器选择深度学习模型框架,根据实际需求修改深度学习网络的超参数;制作数据集,并将其作为训练样本输入修改后的深度学习网络进行训练;对经训练得到的深度学习模型及训练数据集按照既定的命名规则进行重命名后上传服务器存储;从所述服务器中选择指定的深度学习模型对预测样本进行各项指标的评估。然而该方法仅是对训练后的深度学习模型按照既定的命名规则进行重新命名之后存储,无法对深度学习模型进行有效的管理。
技术实现思路
1、本发明提供了一种深度学习模型的管理控制方法及装置,能够对深度学习模型进行有效管理,并便于检索。
2、一种深度学习模型的管理控制方法,包括:
3、接收用户输入的任务信息和配置文件,根据所述任务信息和配置文件,对相应的深度学习模型进行训练,生成模型文件;
4、将所述模型文件及其相关的模型信息进行整合,生成模型包;
5、基于剪枝和知识蒸馏对所述模型包进行优化,并基于快照技术生成关于模型包的版本迭代图;
6、对优化后的模型包提取关键特征和版本信息,根据所述关键特征和版本信息生成标签列表,将所述标签列表和所述模型包进行关联和存储,并建立多标签索引机制;
7、接收用户发送的查询条件,根据所述查询条件基于所述多标签索引机制进行检索,查找相应的模型包进行部署,并记录相应模型包的应用信息。
8、进一步地,所述任务信息包括任务说明、任务类型、关联的目标层次以及流量层次;所述配置文件包括模型设定、版本选择、模型结构以及模型超参数。
9、进一步地,基于剪枝对所述模型包进行优化,包括:
10、将所述模型包中的模型文件的滤波器作为欧氏空间中的点;
11、计算位于同一层内的滤波器的欧氏距离,查找同一层中所有滤波器的几何中心;
12、计算各个滤波器与所述几何中心的距离,将距离小于预设距离的滤波器作为剪枝目标滤波器,将所述剪枝目标滤波器置0;
13、基于知识蒸馏对所述模型包进行优化,包括:
14、将剪枝后的模型文件作为教师网络,设置学生网络;
15、将训练样本输入至所述教师网络,获得教师网络输出结果;
16、将所述教师网络输出结果作为软标签,将所述训练样本的真实标签作为硬标签,将所述软标签和硬标签输入至所述学生网络进行训练,在训练过程中计算损失函数并更新所述学生网络的参数,直到所述学生网络收敛,将收敛后的学生网络作为优化的模型文件。
17、进一步地,所述版本迭代图包括模型文件各个版本的快照,所述快照包括模型文件迭代过程中的检查点。
18、进一步地,所述标签列表包括多个标签,所述标签包括分隔符标志位、标签类型标志位、标签长度标志位以及类型标识值标志位;
19、建立多标签索引机制,包括:
20、将所述模型文件的多个标签进行组合,获得标签数据向量;
21、将所述标签数据向量按照分隔符进行划分,获得多个倒排列表向量;
22、利用层次聚类算法对所述多个倒排列表向量进行聚类划分,获得多个簇;
23、利用多约束平衡聚类算法对获得的多个簇进行优化,获得多个列表;
24、基于划分后的列表建立索引列表。
25、进一步地,利用层次聚类算法对所述多个倒排列表向量进行聚类划分,获得多个簇,包括:
26、随机选择预设数量个倒排列表向量作为初始聚类中心;
27、计算其他倒排列表向量与所述初始聚类中心的欧式距离,根据欧式距离查找与所述初始聚类中心最近的倒排列表向量进行合并,形成簇;
28、迭代执行以下步骤,直到每个簇包含设定数量的倒排列表向量:重新选择聚类中心,计算其他倒排列表向量与所述聚类中心的欧式距离,将距离所述聚类中心最近的倒排列表向量进行合并,更新簇;
29、其中,若倒排列表向量与多个聚类中心的欧式距离相等或者差值在预设范围内,则将该倒排列表向量分配到对应的多个簇中。
30、进一步地,利用多约束平衡聚类算法对获得的多个簇进行优化,获得多个列表,包括:
31、基于获得的簇,建立关于倒排列表向量长度方差的目标函数;
32、对所述簇中的倒排列表向量进行优化分配并求解所述目标函数,使得倒排列表长度方差最小,获得的优化后的簇为所述列表;
33、所述目标函数如下所示:
34、;
35、其中,x表示标签数据向量,c表示聚类的质心,h表示聚类获得的簇,λ为超参数,n表示簇的数量,h li表示第 l个倒排列表向量是否分配到第i个簇中,表示倒排列表向量长度方差。
36、进一步地,根据所述查询条件基于所述多标签索引机制进行检索,包括:
37、根据所述查询条件,生成查询条件向量;
38、计算所述查询条件向量与所述索引列表中各个列表的质心的距离,若所述距离满足预设条件,则将对应的列表作为搜索列表;
39、将所述查询条件向量与所述搜索列表进行匹配,获得相应的模型包;
40、其中,所述预设条件为:
41、;
42、q表示查询条件向量,xij表示待计算距离的列表,cij表示列表xij的质心,表示超参数,dist(q,cij)表示查询条件向量q与质心cij的距离,表示通过查询条件向量q对待计算距离的列表xij进行搜索查询。
43、一种深度学习模型的管理控制装置,包括:
44、训练模块,用于接收用户输入的任务信息和配置文件,根据所述任务信息和配置文件,对相应的深度学习模型进行训练,生成模型文件;
45、整合模块,用于将所述模型文件及其相关的模型信息进行整合,生成模型包;
46、优化模块,基于剪枝和知识蒸馏对所述模型包进行优化,并基于快照技术生成关于模型包的版本迭代图;
47、索引模块,用于对优化后的模型包提取关键特征和版本信息,根据所述关键特征和版本信息生成标签列表,将所述标签列表和所述模型包进行关联和存储,并建立多标签索引机制;
48、部署模块,用于接收用户发送的查询条件,根据所述查询条件基于所述多标签索引机制进行检索,查找相应的模型包进行部署,并记录相应模型包的应用信息。
49、进一步地,所述任务信息包括任务说明、任务类型、关联的目标层次以及流量层次;所述配置文件包括模型设定、版本选择、模型结构以及模型超参数。
50、进一步地,所述优化模块基于剪枝对所述模型包进行优化,包括:
51、将所述模型包中的模型文件的滤波器作为欧氏空间中的点;
52、计算位于同一层内的滤波器的欧氏距离,查找同一层中所有滤波器的几何中心;
53、计算各个滤波器与所述几何中心的距离,将距离小于预设距离的滤波器作为剪枝目标滤波器,将所述剪枝目标滤波器置0;
54、所述优化模块基于知识蒸馏对所述模型包进行优化,包括:
55、将剪枝后的模型文件作为教师网络,设置学生网络;
56、将训练样本输入至所述教师网络,获得教师网络输出结果;
57、将所述教师网络输出结果作为软标签,将所述训练样本的真实标签作为硬标签,将所述软标签和硬标签输入至所述学生网络进行训练,在训练过程中计算损失函数并更新所述学生网络的参数,直到所述学生网络收敛,将收敛后的学生网络作为优化的模型文件。
58、进一步地,所述版本迭代图包括模型文件各个版本的快照,所述快照包括模型文件迭代过程中的检查点。
59、进一步地,所述标签列表包括多个标签,所述标签包括分隔符标志位、标签类型标志位、标签长度标志位以及类型标识值标志位;
60、所述索引模块建立多标签索引机制,包括:
61、将所述模型文件的多个标签进行组合,获得标签数据向量;
62、将所述标签数据向量按照分隔符进行划分,获得多个倒排列表向量;
63、利用层次聚类算法对所述多个倒排列表向量进行聚类划分,获得多个簇;
64、利用多约束平衡聚类算法对获得的多个簇进行优化,获得多个列表;
65、基于划分后的列表建立索引列表。
66、进一步地,所述索引模块利用层次聚类算法对所述多个倒排列表向量进行聚类划分,获得多个簇,包括:
67、随机选择预设数量个倒排列表向量作为初始聚类中心;
68、计算其他倒排列表向量与所述初始聚类中心的欧式距离,根据欧式距离查找与所述初始聚类中心最近的倒排列表向量进行合并,形成簇;
69、迭代执行以下步骤,直到每个簇包含设定数量的倒排列表向量:重新选择聚类中心,计算其他倒排列表向量与所述聚类中心的欧式距离,将距离所述聚类中心最近的倒排列表向量进行合并,更新簇;
70、其中,若倒排列表向量与多个聚类中心的欧式距离相等或者差值在预设范围内,则将该倒排列表向量分配到对应的多个簇中。
71、进一步地,所述索引模块利用多约束平衡聚类算法对获得的多个簇进行优化,获得多个列表,包括:
72、基于获得的簇,建立关于倒排列表向量长度方差的目标函数;
73、对所述簇中的倒排列表向量进行优化分配并求解所述目标函数,使得倒排列表长度方差最小,获得的优化后的簇为所述列表;
74、所述目标函数如下所示:
75、;
76、其中,x表示标签数据向量,c表示聚类的质心,h表示聚类获得的簇,λ为超参数,n表示簇的数量,h li表示第 l个倒排列表向量是否分配到第i个簇中,表示倒排列表向量长度方差。
77、进一步地,所述部署模块根据所述查询条件基于所述多标签索引机制进行检索,包括:
78、根据所述查询条件,生成查询条件向量;
79、计算所述查询条件向量与所述索引列表中各个列表的质心的距离,若所述距离满足预设条件,则将对应的列表作为搜索列表;
80、将所述查询条件向量与所述搜索列表进行匹配,获得相应的模型包;
81、其中,所述预设条件为:
82、;
83、q表示查询条件向量,xij表示待计算距离的列表,cij表示列表xij的质心,表示超参数,dist(q,cij)表示查询条件向量q与质心cij的距离,表示通过查询条件向量q对待计算距离的列表xij进行搜索查询。
84、一种计算机存储介质,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行上述的方法。
85、本发明提供的深度学习模型的管理控制方法及装置,至少包括如下有益效果:
86、(1)通过自动化的任务下发和配置过程,显著提升了电网运维的效率,运维人员可以根据实时的网络状况和分析需求,快速设定任务参数,并选择最适合的模型进行部署,这种灵活性不仅减少了人为操作的时间成本,还允许系统在面对突发事件时,能够迅速响应,实时训练或调用预训练模型,确保电网的稳定运行;
87、(2)模型训练环节采用快照技术,以维护模型的历史版本和进行迭代更新,这不仅保证了模型数据的完整性和一致性,还为模型的持续优化提供了基础。随着电网数据的积累和技术的进步,模型可以不断地被更新和优化,从而提高分析的准确性和效率;
88、(3)多标签检索机制极大地提高了模型检索的智能化水平和准确性。用户可以通过多维度的标签组合,快速定位到所需的特定模型版本,这种方法不仅提高了检索效率,还减少了错误部署的风险。精准的模型部署对于电网设备的流量分析至关重要,它直接影响到分析任务的成功率和电网的安全运行。
1.一种深度学习模型的管理控制方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述任务信息包括任务说明、任务类型、关联的目标层次以及流量层次;所述配置文件包括模型设定、版本选择、模型结构以及模型超参数。
3.根据权利要求1所述的方法,其特征在于,
4.根据权利要求1所述的方法,其特征在于,所述版本迭代图包括模型文件各个版本的快照,所述快照包括模型文件迭代过程中的检查点。
5.根据权利要求1所述的方法,其特征在于,所述标签列表包括多个标签,所述标签包括分隔符标志位、标签类型标志位、标签长度标志位以及类型标识值标志位;
6.根据权利要求5所述的方法,其特征在于,所述利用层次聚类算法对所述多个倒排列表向量进行聚类划分,获得多个簇,包括:
7.根据权利要求5所述的方法,其特征在于,所述利用多约束平衡聚类算法对获得的多个簇进行优化,获得多个列表,包括:
8.根据权利要求5所述的方法,其特征在于,所述根据所述查询条件基于所述多标签索引机制进行检索,包括:
9.一种深度学习模型的管理控制装置,其特征在于,包括:
10.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行如权利要求1-8任一所述的方法。