本发明涉及故障处理,尤其涉及一种日志故障处理方法、装置、设备、存储介质及程序产品。
背景技术:
1、电信网络已经成为数据通信最重要的基础设施。操作和维护,对于确保电信网络通信的可用性、有效性和效率是极其重要的。与流行的互联网系统运维技术、互联网运维人工智能不同,面向电信网络的运维技术面临以下三个基本挑战:网络组件的拓扑依赖、高度异构的软件和大量受限的日志故障数据。目前由于日志数据不平衡,导致日志数据分析效率较低,并且,由于高度异构的软件和设备,收集的日志数据的类型有较大异同,因此日志故障处理存在处理泛化性弱的问题。
技术实现思路
1、本发明的主要目的在于提供了一种日志故障处理方法、装置、设备、存储介质及程序产品,旨在解决现有技术日志数据分析效率较低以及日志故障处理泛化性较弱,导致日志故障处理效率较低的技术问题。
2、为实现上述目的,本发明提供了一种日志故障处理方法,所述方法包括以下步骤:
3、对原始日志数据进行预处理,获得日志序列,所述日志序列包括至少一组日志结构化数据;
4、对所述日志结构化数据进行特征分析,获取所述日志序列的特征分布信息;
5、基于所述特征分布信息对所述日志序列进行异常检测,确定所述日志序列中的异常日志,所述异常日志包括未知异常日志;
6、对所述异常日志进行故障处理,所述故障处理包括对所述已知异常日志分类处理和/或对所述未知异常日志进行语义解释处理。
7、可选地,所述对所述未知异常日志进行语义解释处理,包括:
8、对所述未知异常日志进行替换抽样,生成多个初始数据样本;
9、对所述多个初始数据样本进行聚类处理,生成目标聚类中心;
10、将所述目标聚类中心的向量参数与预设特征字典进行对齐,确定所述目标聚类中心对应的故障类型;
11、基于所述故障类型对所述未知异常日志进行语义解释处理。
12、可选地,所述对所述多个初始数据样本进行聚类处理,生成目标聚类中心,包括:
13、基于所述多个初始数据样本生成多个初始聚类中心;
14、确定各初始数据样本之间的相似距离参数;
15、基于所述相似距离参数将各所述初始数据样本分别分配至对应的初始聚类中心;
16、获取各初始聚类中心的聚类质心参数;
17、基于所述聚类质心参数对各初始聚类中心进行更新,并判断更新后的初始聚类中心是否满足预设聚类迭代条件;
18、若不满足所述预设聚类迭代条件,则返回基于所述相似距离参数将各所述初始数据样本分别分配至对应的初始聚类中心的步骤;
19、若满足所述预设聚类迭代条件,则将多个所述更新后的初始聚类中心进行合并,生成目标聚类中心。
20、可选地,所述对所述日志结构化数据进行特征分析,获取所述日志序列的特征分布信息,包括:
21、对所述日志结构化数据进行特征提取,获得特征向量;
22、将所述特征向量输入至预设分析模型进行特征分析,获得证据值;
23、基于所述证据值确定所述日志序列的不确定度参数;
24、根据不确定度阈值和所述不确定度参数,获取所述日志序列的特征分布信息。
25、可选地,所述不确定度阈值的确定方式包括:
26、获取日志序列样本,所述日志序列样本包括多个日志样本;
27、对所述日志序列样本进行特征提取,获得各所述日志样本的样本特征向量;
28、将所述样本特征向量输入至预设分析模型,获得各所述日志样本的证据值;
29、基于所述证据值确定各所述日志样本的不确定度参数;
30、根据各所述日志样本的不确定度参数从所述日志序列样本中筛选出候选样本;
31、基于所述候选样本的不确定度参数确定不确定度阈值。
32、可选地,所述对原始日志数据进行预处理,获得日志序列,包括:
33、对所述原始日志数据进行解析,获得至少一个原始日志消息;
34、从所述原始日志消息中提取常量信息和变量信息;
35、根据所述常量信息和所述变量信息,对所述原始日志消息进行日志键转换,获得至少一个日志键;
36、基于所述日志键构建日志序列。
37、可选地,所述异常日志还包括已知异常日志;
38、所述故障处理还包括对所述已知异常日志进行分类处理。
39、此外,为实现上述目的,本发明还提出一种日志故障处理装置,所述日志故障处理装置包括:
40、数据预处理模块,用于对原始日志数据进行预处理,获得日志序列,所述日志序列包括至少一组日志结构化数据;
41、日志特征分析模块,用于对所述日志结构化数据进行特征分析,获取所述日志序列的特征分布信息;
42、日志异常检测模块,用于基于所述特征分布信息对所述日志序列进行异常检测,确定所述日志序列中的异常日志,所述异常日志包括未知异常日志;
43、日志故障处理模块,用于对所述异常日志进行故障处理,所述故障处理包括对所述已知异常日志分类处理和/或对所述未知异常日志进行语义解释处理。
44、此外,为实现上述目的,本申请还提出一种日志故障处理设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上文所述的日志故障处理方法的步骤。
45、此外,为实现上述目的,本申请还提出一种计算机可读存储介质,所述计算机可读存储介质为计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上文所述的日志故障处理方法的步骤。
46、此外,为实现上述目的,本申请还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如上文所述的日志故障处理方法的步骤。
47、本发明通过对原始日志数据进行预处理,获得日志序列,所述日志序列包括至少一组日志结构化数据,对所述日志结构化数据进行特征分析,获取所述日志序列的特征分布信息,基于所述特征分布信息对所述日志序列进行异常检测,确定所述日志序列中的异常日志,所述异常日志包括未知异常日志,对所述异常日志进行故障处理,所述故障处理包括对所述已知异常日志分类处理和/或对所述未知异常日志进行语义解释处理;由于本发明通过对原始日志数据进行预处理,获得日志序列,从而提升日志数据的平衡性,确保数据分布均匀,提升日志数据的分析效率,对所述日志结构化数据进行特征分析,获取所述日志序列的特征分布信息,基于所述特征分布信息对所述日志序列进行异常检测,从而实现对异常日志的准确检测和分类,对不同类型的日志数据自适应调整处理方式,提升故障处理的泛化性,确保故障处理能应对不同的场景,有效地提升故障处理效率和处理性能。
1.一种日志故障处理方法,其特征在于,所述日志故障处理方法包括:
2.如权利要求1所述的日志故障处理方法,其特征在于,所述对所述未知异常日志进行语义解释处理,包括:
3.如权利要求2所述的日志故障处理方法,其特征在于,所述对所述多个初始数据样本进行聚类处理,生成目标聚类中心,包括:
4.如权利要求1所述的日志故障处理方法,其特征在于,所述对所述日志结构化数据进行特征分析,获取所述日志序列的特征分布信息,包括:
5.如权利要求4所述的日志故障处理方法,其特征在于,所述不确定度阈值的确定方式包括:
6.如权利要求1至5中任一项所述的日志故障处理方法,其特征在于,所述对原始日志数据进行预处理,获得日志序列,包括:
7.如权利要求1至5中任一项所述的日志故障处理方法,其特征在于,所述异常日志还包括已知异常日志;
8.一种日志故障处理装置,其特征在于,所述日志故障处理装置包括:
9.一种日志故障处理设备,其特征在于,所述日志故障处理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志故障处理程序,所述日志故障处理程序配置为实现如权利要求1至7中任一项所述的日志故障处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有日志故障处理程序,所述日志故障处理程序被处理器执行时实现如权利要求1至7任一项所述的日志故障处理方法。
11.一种计算机程序产品,其特征在于,所述计算机程序产品包括日志故障处理程序,所述日志故障处理程序被处理器执行时实现如权利要求1至7中任一项所述的日志故障处理方法的步骤。