本发明涉及数据分析和评估,尤其涉及一种轻量化的企业级数据分析及评估方法。
背景技术:
1、在当今大数据时代,企业在日常运营中产生和收集了大量的实时数据和历史数据。这些数据包含了从结构化数据(如关系数据库中的表格数据)到非结构化数据(如文本、图像、视频等)以及半结构化数据(如json、xml等)等多种形式。随着数据量的不断增加,如何高效地管理、存储和分析这些数据成为企业面临的重要挑战。传统的数据处理和分析方法由于缺乏灵活性和可扩展性,难以适应多样化的数据类型和动态变化的业务需求。此外,现有的数据分析方法往往难以提供实时处理和分析的能力,导致企业在快速决策方面受限。为了克服这些问题,近年来,许多研究提出了基于机器学习和深度学习的数据分析方法,以期实现数据处理的自动化和智能化。
2、然而,现有的机器学习和深度学习方法在处理企业级数据时仍然存在诸多不足之处。首先,这些方法在面对海量数据时,计算资源消耗巨大,难以满足轻量化的需求。其次,现有技术在处理数据分类和任务划分时,通常依赖于预定义的规则和静态的模型,缺乏动态适应性和灵活性。此外,当前的方法在进行数据分析时,往往忽略了数据之间的复杂关系和交互性,导致分析结果的准确性和可靠性不足。
技术实现思路
1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
2、鉴于上述现有存在的问题,提出了本发明。因此,本发明提供了一种轻量化的企业级数据分析及评估方法,用来解决背景技术中提出的问题。
3、为解决上述技术问题,本发明提供如下技术方案:一种轻量化的企业级数据分析及评估方法,包括:
4、获取企业实时数据与历史数据,并对所述历史数据进行分类,将分类后的数据进行任务划分;
5、根据划分后的任务进行分析,并建立元学习的分层q网络框架,通过所述元学习的分层q网络框架对实时数据进行训练,利用训练后的实时数据更新划分后的任务;
6、建立梯度优化元策略网络,在每一次更新之前对训练后的实时数据进行评估,选择评估等级最高的实时数据进行更新。
7、作为本发明所述的轻量化的企业级数据分析及评估方法的一种优选方案,其中:获取企业实时数据与历史数据,并对所述历史数据进行分类,包括:
8、将所述历史数据分为结构化数据、非结构化数据、半结构化数据、流数据以及元数据;
9、根据分类的不同,采用不同的数据库进行存储。
10、作为本发明所述的轻量化的企业级数据分析及评估方法的一种优选方案,其中:还包括:
11、对每个数据库表中的存储数据以二进制编码形式进行标号,根据二进制编码的标号值,重新对表中数据进行排序。
12、作为本发明所述的轻量化的企业级数据分析及评估方法的一种优选方案,其中:将分类后的数据进行任务划分,包括:
13、对于排序后的不同的数据类型采用缺失值填补和噪声过滤划分任务;
14、对于需要从数据库表中取出的数据划分任务;
15、对于数据库表中的数据关系划分任务;
16、对于数据库表与表之间的关系划分任务。
17、作为本发明所述的轻量化的企业级数据分析及评估方法的一种优选方案,其中:根据划分后的任务进行分析,包括:
18、分析方式采用一对一、一对多或者多对多,且以排列组合的方式对划分任务进行分析,每次分析任务至少为一次。
19、作为本发明所述的轻量化的企业级数据分析及评估方法的一种优选方案,其中:建立元学习的分层q网络框架,包括:
20、所述元学习的分层q网络框架表示为:
21、
22、其中,q(s,a;θ)表示在状态s下执行动作a的q值,θ为分析任务的维度;n为总数据类别数;αi为第i个数据;βi为第i个数据的二进制编码标号值;φ(xi)表示为划分的第i个数据库x的信息过滤函数;γ表示分析任务取值;ψ(yi)表示为第i个数据库表y的归一化函数;λi表示为第i个数据从数据库表中取出的频率;表示为第i个数据与第i+1个数据的标准差;υi表示为第i个任务υ。
23、作为本发明所述的轻量化的企业级数据分析及评估方法的一种优选方案,其中:通过所述元学习的分层q网络框架对实时数据进行训练,利用训练后的实时数据更新划分后的任务,包括:
24、所述vi包含多个子q网络,每个子q网络都相互为独立层级,且所述子q网络将当前实时数据传递给元学习的分层q网络框架并返回给vi,得到每层q网络的梯度值。
25、作为本发明所述的轻量化的企业级数据分析及评估方法的一种优选方案,其中:建立梯度优化元策略网络,在每一次更新之前对训练后的实时数据进行评估,选择评估等级最高的实时数据进行更新,包括:
26、在元学习的分层q网络框架的基础上建立梯度优化元策略网络,计算元学习的分层q网络框架的梯度值;
27、将所述梯度值与每层q网络的梯度值进行对比,若元学习的分层q网络框架的梯度值比每层q网络的梯度值大,则不更新实时数据;否则,更新实时数据并进行评估。
28、作为本发明所述的轻量化的企业级数据分析及评估方法的一种优选方案,其中:所述评估,包括:
29、使用将评估等级分为三级,60分以下为低级、60分至80分为中级、80分以上为高级,评估分数由score得到:
30、
31、其中,q(s′,a′;θ′)表示为经过更新后的元学习的分层q网络框架,t为梯度值的收敛时间。
32、与现有技术相比,发明有益效果为:本发明通过获取企业实时数据与历史数据,并对历史数据进行分类,将分类后的数据进行任务划分;根据划分后的任务进行分析,并建立元学习的分层q网络框架,通过元学习的分层q网络框架对实时数据进行训练,利用训练后的实时数据更新划分后的任务;建立梯度优化元策略网络,在每一次更新之前对训练后的实时数据进行评估,选择评估等级最高的实时数据进行更新;本发明通过获取企业实时数据与历史数据,对历史数据进行分类和任务划分,建立元学习的分层q网络框架,实现了对实时数据处理的高效分析;同时,在元学习的分层q网络框架的基础上,建立梯度优化元策略网络对每一层的q网络进行梯度优化,提高了数据的动态性;此外,舍弃了传统分层q网络框架优化所需的奖励因子,而采用梯度值对比替换的方式,使得模型在数据处理的准确度上有了进一步的提升。
1.一种轻量化的企业级数据分析及评估方法,其特征在于,包括:
2.如权利要求1所述的轻量化的企业级数据分析及评估方法,其特征在于,获取企业实时数据与历史数据,并对所述历史数据进行分类,包括:
3.如权利要求2所述的轻量化的企业级数据分析及评估方法,其特征在于,还包括:
4.如权利要求2或3所述的轻量化的企业级数据分析及评估方法,其特征在于,将分类后的数据进行任务划分,包括:
5.如权利要求4所述的轻量化的企业级数据分析及评估方法,其特征在于,根据划分后的任务进行分析,包括:
6.如权利要求5所述的轻量化的企业级数据分析及评估方法,其特征在于,建立元学习的分层q网络框架,包括:
7.如权利要求6所述的轻量化的企业级数据分析及评估方法,其特征在于,通过所述元学习的分层q网络框架对实时数据进行训练,利用训练后的实时数据更新划分后的任务,包括:
8.如权利要求7所述的轻量化的企业级数据分析及评估方法,其特征在于,建立梯度优化元策略网络,在每一次更新之前对训练后的实时数据进行评估,选择评估等级最高的实时数据进行更新,包括:
9.如权利要求8所述的轻量化的企业级数据分析及评估方法,其特征在于,所述评估,包括:
