数据处理方法、装置和电子设备与流程

allin2026-09-02  28


本技术涉及计算机应用,尤其涉及一种数据处理方法、装置、电子设备和存储介质。


背景技术:

1、目前,随着大数据技术的不断发展,联合分析具有数据维度广、全面性高、准确性高等优点,在数据处理领域得到了广泛应用。相关技术中,进行联合分析的数据提供端大多需要传输全部原始数据,并基于全部原始数据进行数据处理,存在传输数据量、传输次数和计算量高的问题。


技术实现思路

1、本技术旨在至少在一定程度上解决相关技术中数据处理方法存在传输数据量、传输次数和计算量高的技术问题之一。

2、为此,本技术第一方面实施例提出一种数据处理方法,第一数据提供端对第一数据集进行分片处理,得到多个第一分片数据集,分片处理有助于保护数据提供端中的原始数据,避免数据泄露,提高了数据处理的安全性,还可确定每个第一分片数据集对应的特征信息,并将特征信息发送至第二数据提供端,以协助第二数据提供端进行分片处理,还可接收第二数据提供端发送的每个第二分片数据集对应的第二中间处理结果,相较于相关技术中进行联合分析的数据提供端大多需要传输全部原始数据,并基于全部原始数据进行数据处理,大大降低了传输数据量、传输次数和计算量,提高了数据处理的效率,还可获取每个第一分片数据集对应的第一中间处理结果,基于第一中间处理结果和第二中间处理结果,生成第一处理结果。

3、本技术第二方面实施例提出另一种数据处理方法。

4、本技术第三方面实施例提出一种数据处理装置。

5、本技术第四方面实施例提出另一种数据处理装置。

6、本技术第五方面实施例提出一种电子设备。

7、本技术第六方面实施例提出一种计算机可读存储介质。

8、本技术第一方面实施例提出了一种数据处理方法,适用于第一数据提供端,所述方法包括:对第一数据集进行分片处理,得到多个第一分片数据集;确定每个第一分片数据集对应的特征信息,并将所述特征信息发送至第二数据提供端,其中,所述特征信息用于生成所述第二数据提供端中的每个第二分片数据集;接收所述第二数据提供端发送的每个第二分片数据集对应的第二中间处理结果;获取每个第一分片数据集对应的第一中间处理结果,并基于所述第一中间处理结果和所述第二中间处理结果,生成所述第一数据提供端对应的第一处理结果。

9、根据本技术实施例的数据处理方法,第一数据提供端对第一数据集进行分片处理,得到多个第一分片数据集,分片处理有助于保护数据提供端中的原始数据,避免数据泄露,提高了数据处理的安全性,还可确定每个第一分片数据集对应的特征信息,并将特征信息发送至第二数据提供端,以协助第二数据提供端进行分片处理,还可接收第二数据提供端发送的每个第二分片数据集对应的第二中间处理结果,相较于相关技术中进行联合分析的数据提供端大多需要传输全部原始数据,并基于全部原始数据进行数据处理,大大降低了传输数据量、传输次数和计算量,提高了数据处理的效率,还可获取每个第一分片数据集对应的第一中间处理结果,基于第一中间处理结果和第二中间处理结果,生成第一处理结果。

10、另外,根据本技术上述实施例的数据处理方法还可以具有如下附加的技术特征:

11、在本技术的一个实施例中,还包括:将每个第一分片数据集对应的第一中间处理结果发送至所述第二数据提供端,其中,所述第一中间处理结果用于生成所述第二数据提供端对应的第二处理结果。

12、在本技术的一个实施例中,还包括:接收所述第二数据提供端发送的所述第二处理结果;对所述第一处理结果和所述第二处理结果进行结果重构,得到所述第一数据提供端对应的目标处理结果。

13、在本技术的一个实施例中,所述将每个第一分片数据集对应的第一中间处理结果发送至所述第二数据提供端,包括:对所述第一中间处理结果进行加密,得到第一秘密份额和第一共享秘密份额;将每个第一分片数据集对应的第一共享秘密份额发送至所述第二数据提供端。

14、在本技术的一个实施例中,所述第二中间处理结果包括第二共享秘密份额,所述基于所述第一中间处理结果和所述第二中间处理结果,生成所述第一数据提供端对应的第一处理结果,包括:基于所述第一秘密份额和所述第二共享秘密份额,生成所述第一处理结果。

15、在本技术的一个实施例中,所述特征信息包括参考特征信息,所述第一分片数据集中的每个第一数据组包括至少一个维度下的数据,所述确定每个第一分片数据集对应的特征信息,包括:基于所述第一数据组中的目标维度下的数据,确定所述第一数据组对应的参考类别;基于所述第一分片数据集中的每个第一数据组对应的参考类别,得到所述第一分片数据集对应的参考特征信息。

16、在本技术的一个实施例中,所述基于所述第一分片数据集中的每个第一数据组对应的参考类别,得到所述第一分片数据集对应的参考特征信息,包括:建立特征矩阵,其中,所述特征矩阵的行用于表征所述第一数据组,所述特征矩阵的列用于表征所述参考类别;从所述第一分片数据集中的第1个第一数据组开始,若第1个第一数据组对应的参考类别为所述特征矩阵的第j列表征的参考类别,将所述特征矩阵的第1行第j列的元素标记为第一数值,并将所述特征矩阵的第1行非第j列的元素标记为第二数值,以更新所述特征矩阵,直至所述第一分片数据集遍历结束,将最终的特征矩阵确定为所述参考特征信息。

17、在本技术的一个实施例中,所述特征信息还包括混淆特征信息,所述确定每个第一分片数据集对应的特征信息,还包括:对所述第一分片数据集对应的参考特征信息进行混淆处理,得到所述第一分片数据集对应的混淆特征信息。

18、在本技术的一个实施例中,还包括:获取第一原始数据集对应的第一索引集;接收所述第二数据提供端发送的第二原始数据集对应的第二索引集;基于所述第一索引集和所述第二索引集,对所述第一原始数据集和所述第二原始数据集进行样本对齐,得到所述第一数据集。

19、本技术第二方面实施例提出了另一种数据处理方法,适用于第二数据提供端,所述方法包括:接收第一数据提供端发送的每个第一分片数据集对应的特征信息;基于所述特征信息,对第二数据集进行分片处理,得到多个第二分片数据集;获取每个第二分片数据集对应的第二中间处理结果,并将每个第二分片数据集对应的第二中间处理结果发送至所述第一数据提供端,其中,所述第二中间处理结果用于生成所述第一数据提供端对应的第一处理结果。

20、根据本技术实施例的数据处理方法,第二数据提供端接收第一数据提供端发送的每个第一分片数据集对应的特征信息,基于特征信息,对第二数据集进行分片处理,得到多个第二分片数据集,分片处理有助于保护数据提供端中的原始数据,避免数据泄露,提高了数据处理的安全性,还可获取每个第二分片数据集对应的第二中间处理结果,并将每个第二分片数据集对应的第二中间处理结果发送至第一数据提供端,以协助第一数据提供端生成第一处理结果,相较于相关技术中进行联合分析的数据提供端大多需要传输全部原始数据,并基于全部原始数据进行数据处理,大大降低了传输数据量、传输次数和计算量,提高了数据处理的效率。

21、另外,根据本技术上述实施例的数据处理方法还可以具有如下附加的技术特征:

22、在本技术的一个实施例中,还包括:接收所述第一数据提供端发送的每个第一分片数据集对应的第一中间处理结果;基于所述第一中间处理结果和所述第二中间处理结果,生成所述第二数据提供端对应的第二处理结果。

23、在本技术的一个实施例中,还包括:将所述第二处理结果发送至所述第一数据提供端,其中,所述第二处理结果用于生成所述第一数据提供端对应的目标处理结果。

24、在本技术的一个实施例中,所述将每个第二分片数据集对应的第二中间处理结果发送至所述第一数据提供端,包括:对所述第二中间处理结果进行加密,得到第二秘密份额和第二共享秘密份额;将每个第二分片数据集对应的第二共享秘密份额发送至所述第一数据提供端。

25、在本技术的一个实施例中,所述第一中间处理结果包括第一共享秘密份额,所述基于所述第一中间处理结果和所述第二中间处理结果,生成所述第二数据提供端对应的第二处理结果,包括:基于所述第一共享秘密份额和所述第二秘密份额,生成所述第二处理结果。

26、在本技术的一个实施例中,所述特征信息用于指示所述第一分片数据集中的每个第一数据组对应的类别,所述第二数据集包括与索引一一对应的第二数据组;所述基于所述特征信息,对第二数据集进行分片处理,得到多个第二分片数据集,包括:基于所述特征信息,确定属于同一类别的第一数据组对应的索引集;将所述索引集中的每个索引对应的第二数据组划分到同一第二分片数据集。

27、在本技术的一个实施例中,所述特征信息包括参考特征信息和/或混淆特征信息,所述基于所述特征信息,对第二数据集进行分片处理,得到多个第二分片数据集,包括:基于所述参考特征信息,对所述第二数据集进行分片处理,得到多个第二参考分片数据集;和/或,基于所述混淆特征信息,对所述第二数据集进行分片处理,得到多个第二混淆分片数据集。

28、在本技术的一个实施例中,还包括:获取第二原始数据集对应的第二索引集;接收所述第一数据提供端发送的第一原始数据集对应的第一索引集;基于所述第一索引集和所述第二索引集,对所述第一原始数据集和所述第二原始数据集进行样本对齐,得到所述第二数据集。

29、本技术第三方面实施例提出了一种数据处理装置,适用于第一数据提供端,所述装置包括:分片模块,用于对第一数据集进行分片处理,得到多个第一分片数据集;发送模块,用于确定每个第一分片数据集对应的特征信息,并将所述特征信息发送至第二数据提供端,其中,所述特征信息用于生成所述第二数据提供端中的每个第二分片数据集;接收模块,用于接收所述第二数据提供端发送的每个第二分片数据集对应的第二中间处理结果;生成模块,用于获取每个第一分片数据集对应的第一中间处理结果,并基于所述第一中间处理结果和所述第二中间处理结果,生成所述第一数据提供端对应的第一处理结果。

30、本技术实施例的数据处理装置,对第一数据集进行分片处理,得到多个第一分片数据集,分片处理有助于保护数据提供端中的原始数据,避免数据泄露,提高了数据处理的安全性,还可确定每个第一分片数据集对应的特征信息,并将特征信息发送至第二数据提供端,以协助第二数据提供端进行分片处理,还可接收第二数据提供端发送的每个第二分片数据集对应的第二中间处理结果,相较于相关技术中进行联合分析的数据提供端大多需要传输全部原始数据,并基于全部原始数据进行数据处理,大大降低了传输数据量、传输次数和计算量,提高了数据处理的效率,还可获取每个第一分片数据集对应的第一中间处理结果,基于第一中间处理结果和第二中间处理结果,生成第一处理结果。

31、另外,根据本技术上述实施例的数据处理装置还可以具有如下附加的技术特征:

32、在本技术的一个实施例中,所述发送模块,还用于:将每个第一分片数据集对应的第一中间处理结果发送至所述第二数据提供端,其中,所述第一中间处理结果用于生成所述第二数据提供端对应的第二处理结果。

33、在本技术的一个实施例中,还包括:重构模块;所述接收模块,还用于接收所述第二数据提供端发送的所述第二处理结果;所述重构模块,用于对所述第一处理结果和所述第二处理结果进行结果重构,得到所述第一数据提供端对应的目标处理结果。

34、在本技术的一个实施例中,所述发送模块,还用于:对所述第一中间处理结果进行加密,得到第一秘密份额和第一共享秘密份额;将每个第一分片数据集对应的第一共享秘密份额发送至所述第二数据提供端。

35、在本技术的一个实施例中,所述第二中间处理结果包括第二共享秘密份额,所述生成模块,还用于:基于所述第一秘密份额和所述第二共享秘密份额,生成所述第一处理结果。

36、在本技术的一个实施例中,所述特征信息包括参考特征信息,所述第一分片数据集中的每个第一数据组包括至少一个维度下的数据,所述发送模块,还用于:基于所述第一数据组中的目标维度下的数据,确定所述第一数据组对应的参考类别;基于所述第一分片数据集中的每个第一数据组对应的参考类别,得到所述第一分片数据集对应的参考特征信息。

37、在本技术的一个实施例中,所述发送模块,还用于:建立特征矩阵,其中,所述特征矩阵的行用于表征所述第一数据组,所述特征矩阵的列用于表征所述参考类别;从所述第一分片数据集中的第1个第一数据组开始,若第1个第一数据组对应的参考类别为所述特征矩阵的第j列表征的参考类别,将所述特征矩阵的第1行第j列的元素标记为第一数值,并将所述特征矩阵的第1行非第j列的元素标记为第二数值,以更新所述特征矩阵,直至所述第一分片数据集遍历结束,将最终的特征矩阵确定为所述参考特征信息。

38、在本技术的一个实施例中,所述特征信息还包括混淆特征信息,所述发送模块,还用于:对所述第一分片数据集对应的参考特征信息进行混淆处理,得到所述第一分片数据集对应的混淆特征信息。

39、在本技术的一个实施例中,所述分片模块,还用于:获取第一原始数据集对应的第一索引集;接收所述第二数据提供端发送的第二原始数据集对应的第二索引集;基于所述第一索引集和所述第二索引集,对所述第一原始数据集和所述第二原始数据集进行样本对齐,得到所述第一数据集。

40、本技术第四方面实施例提出了另一种数据处理装置,适用于第二数据提供端,所述装置包括:接收模块,用于接收第一数据提供端发送的每个第一分片数据集对应的特征信息;分片模块,用于基于所述特征信息,对第二数据集进行分片处理,得到多个第二分片数据集;发送模块,用于获取每个第二分片数据集对应的第二中间处理结果,并将每个第二分片数据集对应的第二中间处理结果发送至所述第一数据提供端,其中,所述第二中间处理结果用于生成所述第一数据提供端对应的第一处理结果。

41、本技术实施例的数据处理装置,接收第一数据提供端发送的每个第一分片数据集对应的特征信息,基于特征信息,对第二数据集进行分片处理,得到多个第二分片数据集,分片处理有助于保护数据提供端中的原始数据,避免数据泄露,提高了数据处理的安全性,还可获取每个第二分片数据集对应的第二中间处理结果,并将每个第二分片数据集对应的第二中间处理结果发送至第一数据提供端,以协助第一数据提供端生成第一处理结果,相较于相关技术中进行联合分析的数据提供端大多需要传输全部原始数据,并基于全部原始数据进行数据处理,大大降低了传输数据量、传输次数和计算量,提高了数据处理的效率。

42、另外,根据本技术上述实施例的数据处理装置还可以具有如下附加的技术特征:

43、在本技术的一个实施例中,还包括:生成模块;所述接收模块,还用于接收所述第一数据提供端发送的每个第一分片数据集对应的第一中间处理结果;所述生成模块,用于基于所述第一中间处理结果和所述第二中间处理结果,生成所述第二数据提供端对应的第二处理结果。

44、在本技术的一个实施例中,所述发送模块,还用于:将所述第二处理结果发送至所述第一数据提供端,其中,所述第二处理结果用于生成所述第一数据提供端对应的目标处理结果。

45、在本技术的一个实施例中,所述发送模块,还用于:对所述第二中间处理结果进行加密,得到第二秘密份额和第二共享秘密份额;将每个第二分片数据集对应的第二共享秘密份额发送至所述第一数据提供端。

46、在本技术的一个实施例中,所述第一中间处理结果包括第一共享秘密份额,所述生成模块,还用于:基于所述第一共享秘密份额和所述第二秘密份额,生成所述第二处理结果。

47、在本技术的一个实施例中,所述特征信息用于指示所述第一分片数据集中的每个第一数据组对应的类别,所述第二数据集包括与索引一一对应的第二数据组;所述分片模块,还用于:基于所述特征信息,确定属于同一类别的第一数据组对应的索引集;将所述索引集中的每个索引对应的第二数据组划分到同一第二分片数据集。

48、在本技术的一个实施例中,所述特征信息包括参考特征信息和/或混淆特征信息,所述分片模块,还用于:基于所述参考特征信息,对所述第二数据集进行分片处理,得到多个第二参考分片数据集;和/或,基于所述混淆特征信息,对所述第二数据集进行分片处理,得到多个第二混淆分片数据集。

49、在本技术的一个实施例中,所述分片模块,还用于:获取第二原始数据集对应的第二索引集;接收所述第一数据提供端发送的第一原始数据集对应的第一索引集;基于所述第一索引集和所述第二索引集,对所述第一原始数据集和所述第二原始数据集进行样本对齐,得到所述第二数据集。

50、本技术第五方面实施例提出了一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如前所述的数据处理方法。

51、本技术实施例的电子设备,通过处理器执行存储在存储器上的计算机程序,对第一数据集进行分片处理,得到多个第一分片数据集,分片处理有助于保护数据提供端中的原始数据,避免数据泄露,提高了数据处理的安全性,还可确定每个第一分片数据集对应的特征信息,并将特征信息发送至第二数据提供端,以协助第二数据提供端进行分片处理,还可接收第二数据提供端发送的每个第二分片数据集对应的第二中间处理结果,相较于相关技术中进行联合分析的数据提供端大多需要传输全部原始数据,并基于全部原始数据进行数据处理,大大降低了传输数据量、传输次数和计算量,提高了数据处理的效率,还可获取每个第一分片数据集对应的第一中间处理结果,基于第一中间处理结果和第二中间处理结果,生成第一处理结果。

52、本技术第六方面实施例提出了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时,实现如前所述的数据处理方法。

53、本技术实施例的计算机可读存储介质,通过存储计算机程序并被处理器执行,对第一数据集进行分片处理,得到多个第一分片数据集,分片处理有助于保护数据提供端中的原始数据,避免数据泄露,提高了数据处理的安全性,还可确定每个第一分片数据集对应的特征信息,并将特征信息发送至第二数据提供端,以协助第二数据提供端进行分片处理,还可接收第二数据提供端发送的每个第二分片数据集对应的第二中间处理结果,相较于相关技术中进行联合分析的数据提供端大多需要传输全部原始数据,并基于全部原始数据进行数据处理,大大降低了传输数据量、传输次数和计算量,提高了数据处理的效率,还可获取每个第一分片数据集对应的第一中间处理结果,基于第一中间处理结果和第二中间处理结果,生成第一处理结果。

54、本技术附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。


技术特征:

1.一种数据处理方法,其特征在于,适用于第一数据提供端,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,还包括:

3.根据权利要求2所述的方法,其特征在于,还包括:

4.根据权利要求2所述的方法,其特征在于,所述将每个第一分片数据集对应的第一中间处理结果发送至所述第二数据提供端,包括:

5.根据权利要求4所述的方法,其特征在于,所述第二中间处理结果包括第二共享秘密份额,所述基于所述第一中间处理结果和所述第二中间处理结果,生成所述第一数据提供端对应的第一处理结果,包括:

6.根据权利要求1-5中任一项所述的方法,其特征在于,所述特征信息包括参考特征信息,所述第一分片数据集中的每个第一数据组包括至少一个维度下的数据,所述确定每个第一分片数据集对应的特征信息,包括:

7.根据权利要求6所述的方法,其特征在于,所述基于所述第一分片数据集中的每个第一数据组对应的参考类别,得到所述第一分片数据集对应的参考特征信息,包括:

8.根据权利要求6所述的方法,其特征在于,所述特征信息还包括混淆特征信息,所述确定每个第一分片数据集对应的特征信息,还包括:

9.根据权利要求1-5中任一项所述的方法,其特征在于,还包括:

10.一种数据处理方法,其特征在于,适用于第二数据提供端,所述方法包括:

11.根据权利要求10所述的方法,其特征在于,还包括:

12.根据权利要求11所述的方法,其特征在于,还包括:

13.根据权利要求11所述的方法,其特征在于,所述将每个第二分片数据集对应的第二中间处理结果发送至所述第一数据提供端,包括:

14.根据权利要求13所述的方法,其特征在于,所述第一中间处理结果包括第一共享秘密份额,所述基于所述第一中间处理结果和所述第二中间处理结果,生成所述第二数据提供端对应的第二处理结果,包括:

15.根据权利要求10所述的方法,其特征在于,所述特征信息用于指示所述第一分片数据集中的每个第一数据组对应的类别,所述第二数据集包括与索引一一对应的第二数据组;

16.根据权利要求10-15中任一项所述的方法,其特征在于,所述特征信息包括参考特征信息和/或混淆特征信息,所述基于所述特征信息,对第二数据集进行分片处理,得到多个第二分片数据集,包括:

17.根据权利要求10-15中任一项所述的方法,其特征在于,还包括:

18.一种数据处理装置,其特征在于,适用于第一数据提供端,所述装置包括:

19.一种数据处理装置,其特征在于,适用于第二数据提供端,所述装置包括:

20.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如权利要求1-17中任一项所述的数据处理方法。

21.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-17中任一项所述的数据处理方法。


技术总结
本申请提出一种数据处理方法、装置和电子设备。方法包括:对第一数据集进行分片处理,得到多个第一分片数据集;确定每个第一分片数据集对应的特征信息,将特征信息发送至第二数据提供端,特征信息用于生成第二数据提供端中的每个第二分片数据集;接收第二数据提供端发送的每个第二分片数据集对应的第二中间处理结果;获取每个第一分片数据集对应的第一中间处理结果,基于第一中间处理结果和第二中间处理结果,生成第一处理结果。由此,第一数据提供端可接收第二数据提供端发送的第二中间处理结果,相较于相关技术中传输全部原始数据,并基于全部原始数据进行数据处理,大大降低了传输数据量、传输次数和计算量,提高了数据处理的效率。

技术研发人员:杨博,孙中伟
受保护的技术使用者:京东科技控股股份有限公司
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-30927.html

最新回复(0)