本发明的客户数据缺失值的补充方法及装置可用于金融领域和数据处理,也可用于除金融领域之外的任意领域,本发明的客户数据缺失值的补充方法及装置的应用领域不做限定。
背景技术:
1、本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
2、数据缺失是建模过程中处理难度较大的特征工程问题,一个模型的好坏优劣很大程度上不是取决于模型本身设计的有多么精巧,而是在于样本数据质量的高低。
3、长期以来,对于数据缺失,特征工程一直缺乏好的处理手段,传统的处理方式往往过于简化,如对所有缺失值一概赋予0;或是,对缺失值的特征进行分布分析,寻找其样本总体分布函数,然后基于分布函数随机产生该分布下的随机样本赋予缺失值,这种依据特征的统计分布进行粗略预测的做法会丢失数据的大量有效信息,补充的数据可靠性极低,补充数据的精度不高。
技术实现思路
1、本发明实施例提供一种客户数据缺失值的补充方法,用以提升客户数据缺失值的补充数据的精确度和可靠性,该方法包括:
2、识别客户数据集中存在缺失值的缺失数据记录;标记出每个缺失数据记录中的缺失特征;
3、针对目标缺失数据记录中的每一缺失特征,从所述客户数据集中提取出存在该缺失特征的缺失值的数据记录,作为抽样样本;对所述抽样样本进行特征分析,确定与该缺失特征相关的多个相关特征;
4、对由该缺失特征和所述相关特征组合得到的多维特征组合,进行特征维度的离散化处理,得到对应该缺失特征的联合经验分布函数;
5、通过马尔科夫链蒙特卡洛算法,根据所述联合经验分布函数,生成与该缺失特征相关联的多维模拟数据;
6、根据所述多维模拟数据与目标缺失数据记录的特征相似度,从所述多维模拟数据中选取出对应该缺失特征的补充数据。
7、本发明实施例还提供一种客户数据缺失值的补充装置,用以提升客户数据缺失值的补充数据的精确度和可靠性,该装置包括:
8、缺失特征确定模块,用于识别客户数据集中存在缺失值的缺失数据记录;标记出每个缺失数据记录中的缺失特征;
9、相关特征确定模块,用于针对目标缺失数据记录中的每一缺失特征,从所述客户数据集中提取出存在该缺失特征的缺失值的数据记录,作为抽样样本;对所述抽样样本进行特征分析,确定与该缺失特征相关的多个相关特征;
10、联合经验分布函数确定模块,用于对由该缺失特征和所述相关特征组合得到的多维特征组合,进行特征维度的离散化处理,得到对应该缺失特征的联合经验分布函数;
11、多维模拟数据确定模块,用于通过马尔科夫链蒙特卡洛算法,根据所述联合经验分布函数,生成与该缺失特征相关联的多维模拟数据;
12、补充数据确定模块,用于根据所述多维模拟数据与目标缺失数据记录的特征相似度,从所述多维模拟数据中选取出对应该缺失特征的补充数据。
13、本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述客户数据缺失值的补充方法。
14、本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述客户数据缺失值的补充方法。
15、本发明实施例还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现上述客户数据缺失值的补充方法。
16、本发明实施例中,识别客户数据集中存在缺失值的缺失数据记录;标记出每个缺失数据记录中的缺失特征;针对目标缺失数据记录中的每一缺失特征,从所述客户数据集中提取出存在该缺失特征的缺失值的数据记录,作为抽样样本;对所述抽样样本进行特征分析,确定与该缺失特征相关的多个相关特征;对由该缺失特征和所述相关特征组合得到的多维特征组合,进行特征维度的离散化处理,得到对应该缺失特征的联合经验分布函数;通过马尔科夫链蒙特卡洛算法,根据所述联合经验分布函数,生成与该缺失特征相关联的多维模拟数据;根据所述多维模拟数据与目标缺失数据记录的特征相似度,从所述多维模拟数据中选取出对应该缺失特征的补充数据。本发明与现有技术中赋予缺失值以固定值或特征的统计分布进行粗略预测的技术方案相比,首先识别并标记出每个缺失数据记录中的具体缺失特征,通过分析目标缺失数据记录中每个缺失特征与其他特征的相关性,选取与之相关的多个特征,之后针对选定的多个相关特征与目标缺失特征,引入了多维特征组合并对其进行离散化处理以获得联合经验分布函数,突破了现有技术忽视特征间关联性的局限,利用了数据内在的关联来提高补充数据的准确性和合理性;通过采用马尔科夫链蒙特卡洛算法,基于联合经验分布函数生成多维模拟数据,能够高效地模拟复杂分布,有助于生成更贴近实际数据分布的多维模拟数据,从而提高了补充数据的可信度,最终根据多维模拟数据与目标缺失数据记录的特征相似度来选取补充数据,避免了盲目填补,确保补充的数据在特征空间上与原数据高度相似,提高了数据补充的精确度。
1.一种客户数据缺失值的补充方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,针对目标缺失数据记录中的每一缺失特征,从所述客户数据集中提取出存在该缺失特征的缺失值的数据记录,作为抽样样本,包括:
3.如权利要求1所述的方法,其特征在于,对所述抽样样本进行特征分析,确定与该缺失特征相关的多个相关特征,包括:
4.如权利要求3所述的方法,其特征在于,基于所述抽样样本的特征值,计算该选取特征和抽样样本中每一其他特征之间的相关系数,包括:
5.如权利要求1所述的方法,其特征在于,对由该缺失特征和所述相关特征组合得到的多维特征组合,进行特征维度的离散化处理,得到对应该缺失特征的联合经验分布函数,包括:
6.如权利要求1所述的方法,其特征在于,通过马尔科夫链蒙特卡洛算法,根据所述联合经验分布函数,生成与该缺失特征相关联的多维模拟数据,包括:
7.如权利要求1所述的方法,其特征在于,根据所述多维模拟数据与目标缺失数据记录的特征相似度,从所述多维模拟数据中选取出对应该缺失特征的补充数据,包括:
8.如权利要求7所述的方法,其特征在于,还包括:
9.如权利要求1所述的方法,其特征在于,还包括:
10.一种客户数据缺失值的补充装置,其特征在于,包括:
11.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9任一所述方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至9任一所述方法。
13.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现权利要求1至9任一所述方法。
