一种数据备份方法、装置、设备、介质以及产品与流程

allin2026-10-03  4


本申请属于边缘计算领域,尤其涉及一种数据备份方法、装置、设备、介质以及产品。


背景技术:

1、随着海量数据的处理需求越来越多,分布式缓存为应用程序提供数据快速访问服务,提高数据的处理速度。但是大规模分布式系统存在节点掉队问题,导致缓存的数据丢失。编码缓存技术通过存储与前向纠错编码技术的融合,在缓存节点上存储冗余的数据,进一步提升了缓存资源的利用效率,实现了更高效的存储-通信资源置换,利用编码缓存技术所带来的本地缓存和分布式编码增益,实现缓存数据的低时延,高能效等服务要求。

2、目前,通常采用极大距离可分码(maximum distance separable code,mds)来进行数据的编码以实现备份。但是mds的计算复杂度高,备份效率低。


技术实现思路

1、本申请实施例提供一种数据备份方法、装置、设备、介质以及产品,能够降低数据备份的计算复杂度,提高备份效率。

2、一方面,本申请实施例提供一种数据备份方法,包括:

3、获取待备份的目标数据;

4、基于预先设定的级联码内码类型,对所述目标数据进行编码得到第一目标码;

5、基于预先设定的级联码外码类型,对所述目标数据进行编码得到第二目标码;

6、将所述第一目标码以及所述第二目标码进行串联得到目标级联码;

7、将所述目标级联码进行保存,以便于在所述目标数据丢失的情况下,通过所述目标级联码对所述目标数据进行恢复。

8、另一方面,所述目标级联码的内码类型为低密度奇偶校验码(low densityparity check code,ldpc);所述目标数据包括多个原始分区;

9、所述基于预先设定的级联码内码类型,对所述目标数据进行编码得到第一目标码,包括:

10、基于ldpc,对所述原始分区进行编码,得到第一目标码分区。

11、另一方面,所述基于ldpc,对所述原始分区进行编码,得到第一目标码分区,包括:

12、基于节点的历史掉队数据,预测同一时刻的掉队节点数量;

13、基于ldpc,根据所述掉队节点数量对所述原始分区进行编码,得到所述第一目标码分区。

14、另一方面,所述目标级联码的外码类型为卢比变换码(luby transform code,lt);

15、所述基于预先设定的级联码外码类型,对所述目标数据进行编码得到第二目标码,包括:

16、基于lt,对所述原始分区和/或所述第一目标码分区进行编码,得到第二目标码分区。

17、另一方面,所述基于lt,对所述原始分区和/或所述第一目标码分区进行编码,得到第二目标码分区,包括:

18、获取用于编码的预设分区数量;

19、从所述原始分区和/或所述第一目标码分区中选取所述预设分区数量的目标编码分区;

20、基于lt,对所述目标编码分区进行编码,得到第二目标码分区。

21、另一方面,所述获取用于编码的预设分区数量,包括:

22、基于节点的历史掉队数据,在同一时刻不同数量的节点掉队的情况下,确定通过重新计算恢复数据的方式所需的多个第一时长;

23、在不同数量的节点掉队的情况下,分别针对节点掉队目标数量确定第二时长不大于对应的所述第一时长的所述目标编码分区的最大数量;所述第二时长为在节点掉队目标数量的情况下,通过所述目标级联码对所述目标数据进行恢复所需的时长;

24、将所述最大数量确定为所述预设分区数量。

25、另一方面,所述从所述原始分区和/或所述第一目标码分区中选取所述预设分区数量的目标编码分区,包括:

26、获取所述原始分区和/或所述第一目标码分区中各分区的重要程度以及对应节点的掉队概率;

27、基于分区的重要程度以及对应节点的掉队概率,选取所述预设分区数量的目标编码分区。

28、另一方面,在所述将所述目标级联码进行保存之后,所述方法还包括:

29、在检测到所述目标数据丢失的情况下,基于所述第一目标码对所述目标数据进行恢复;

30、在所述第一目标码恢复数据失败的情况下,基于所述第二目标码对所述目标数据进行恢复。

31、再一方面,本申请实施例提供了一种数据备份装置,所述装置包括:

32、获取模块,用于获取待备份的目标数据;

33、编码模块,用于基于预先设定的级联码内码类型,对所述目标数据进行编码得到第一目标码;

34、所述编码模块,还用于基于预先设定的级联码外码类型,对所述目标数据进行编码得到第二目标码;

35、串联模块,用于将所述第一目标码以及所述第二目标码进行串联得到目标级联码;

36、保存模块,用于将所述目标级联码进行保存,以便于在所述目标数据丢失的情况下,通过所述目标级联码对所述目标数据进行恢复。

37、再一方面,本申请实施例提供了一种数据备份设备,所述设备包括:处理器以及存储有计算机程序指令的存储器;

38、所述处理器执行所述计算机程序指令时实现如上所述的数据备份方法。

39、再一方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如上所述的数据备份方法。

40、再一方面,本申请实施例提供了一种计算机程序产品,所述计算机程序产品中的指令由电子设备的处理器执行时,使得所述电子设备执行如上所述的数据备份方法。

41、本申请实施例的数据备份方法,先获取待备份的目标数据;并基于预先设定的级联码内码类型,对目标数据进行编码得到第一目标码;再基于预先设定的级联码外码类型,对目标数据进行编码得到第二目标码。然后将第一目标码以及第二目标码进行串联得到目标级联码,并将目标级联码进行保存,以便于在目标数据丢失的情况下,通过目标级联码对目标数据进行恢复。由于级联码采用短码串行级联的方式构造长码,级联编码的长度小于采用单一结构、单一形式的码构造长码的长度,因此具有译码复杂度低、纠错能力强以及编码效率高等优点,需要更少的计算资源,更具实用性,且级联码适合大规模计算中掉队节点数量动态变化。该技术可以用于解决不同节点掉队情况下的缓存恢复问题,能够在一定存储冗余的情况下,尽可能地提高译码的成功率,实现数据丢失后的有效恢复。



技术特征:

1.一种数据备份方法,其特征在于,包括:

2.根据权利要求1所述的数据备份方法,其特征在于,所述目标级联码的内码类型为低密度奇偶校验码;所述目标数据包括多个原始分区;

3.根据权利要求2所述的数据备份方法,其特征在于,所述基于低密度奇偶校验码,对所述原始分区进行编码,得到第一目标码分区,包括:

4.根据权利要求2或3所述的数据备份方法,其特征在于,所述目标级联码的外码类型为卢比变换码;

5.根据权利要求4所述的数据备份方法,其特征在于,所述基于卢比变换码,对所述原始分区和/或所述第一目标码分区进行编码,得到第二目标码分区,包括:

6.根据权利要求5所述的数据备份方法,其特征在于,所述获取用于编码的预设分区数量,包括:

7.根据权利要求5所述的数据备份方法,其特征在于,所述从所述原始分区和/或所述第一目标码分区中选取所述预设分区数量的目标编码分区,包括:

8.根据权利要求1所述的数据备份方法,其特征在于,在所述将所述目标级联码进行保存之后,所述方法还包括:

9.一种数据备份装置,其特征在于,所述装置包括:

10.一种数据备份设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;

11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1至8任意一项所述的数据备份方法。

12.一种计算机程序产品,其特征在于,所述计算机程序产品中的指令由电子设备的处理器执行时,使得所述电子设备执行如权利要求1至8任意一项所述的数据备份方法。


技术总结
本申请公开了一种数据备份方法、装置、设备、介质以及产品。本方法对目标数据进行编码得到第一目标码和第二目标码,将第一目标码以及第二目标码进行串联得到目标级联码,并将目标级联码进行保存,以便于在目标数据丢失的情况下,通过目标级联码对目标数据进行恢复。由于级联码采用短码串行级联的方式构造长码,级联编码的长度小于采用单一结构、单一形式的码构造长码的长度,因此具有译码复杂度低、纠错能力强以及编码效率高等优点。该技术可以用于解决不同节点掉队情况下的缓存恢复问题,能够在一定存储冗余的情况下,尽可能地提高译码的成功率,实现数据丢失后的有效恢复。

技术研发人员:尚晶,张逸飞,肖智文,赵砚秋,王斌,武智晖,刘乾宇,王冀彬
受保护的技术使用者:中移动信息技术有限公司
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-31739.html

最新回复(0)