一种数据备份方法、装置及计算机设备与流程

allin2026-08-18  28


本技术涉及计算机,尤其涉及一种数据备份方法、装置及计算机设备。


背景技术:

1、网络管控单元作为ict基础设施成为至关重要的部分,支撑、使能众多行业完成数字化转型。网络管控单元作为网络的基础设施,自身数据的可靠性至关重要,当前数据的可靠性实现面临巨大挑战。

2、为了保障网络管控单元数据的可靠性,需要对数据进行备份。数据备份恢复系统的典型实现方式,是备份恢复系统通过备份工具、备份策略,进行数据提取和保存,数据存储到外部存储单元。数据备份的执行流程可以包括:用户在界面选择备份的资源清单,再设置备份策略,备份恢复系统在计划的时间完成数据的备份。

3、网络管控单元数据量呈快速增长趋势,目前在10tb量级,并逐年以20%的比例增加。而目前的数据备份方式,备份耗时长(通常为小时级),恢复数据时间长(通常以天为单位),备份数据占用的存储空间大(10tb量级,且呈增长趋势,每年增加20%左右)。


技术实现思路

1、本技术实施例提供一种数据备份方法、装置及计算机设备,用于减少数据备份的时间以及备份数据占用的备份存储空间。

2、第一方面,本技术实施例提供一种数据备份方法,该方法可以由备份存储系统中的备份服务装置执行,该备份服务装置可以为一台计算设备,也可以为一个集成在其他设备中的芯片。比如,以备份服务装置执行为例,具体的,该方法包括:

3、获取至少一个待备份数据的特征信息,所述特征信息包括所述至少一个待备份数据分别在多个节点中的存储分布;根据所述至少一个待备份数据分别在多个节点中的存储分布,确定针对每个所述节点的备份指令;向每个所述节点分别发送对应的备份指令,所述备份指令用于指示对应的所述节点将所述节点存储的目标备份数据备份至存储服务器中,其中,不同所述备份指令用于指示不同的所述节点将存储的不同的目标备份数据备份至所述存储服务器。

4、在上述数据备份方法中,备份服务装置指示各节点执行备份流程之前,获取待备份数据的特征信息,通过对待备份数据的特征信息进行分析,从而在生成针对各节点的备份指令时,使得生成的备份指令指示不同节点对不同的目标备份数据进行备份,避免多个节点对相同的数据进行重复备份。采用上述方法后,能够有效减少各节点对冗余数据的备份,从而降低备份所需的时间,并能够减少备份数据所占用的备份存储空间;而备份数据的减少,也能够减少后续恢复备份数据的恢复时长。由此可见,上述数据备份方法能够有效提高备份服务装置的备份效率,减少数据的备份时长以及恢复时长,同时提高了用户体验。尤其是在数据量还处于快速增长的时期,备份时长、恢复时长、备份存储空间的减少,为备份服务的提供方与备份服务的需求方提供了可持续合作的基础。

5、在一种可能的实现方式中,所述根据所述至少一个待备份数据和所述至少一个待备份数据分别在多个节点中的存储分布,确定针对每个所述节点的备份指令,包括:针对所述至少一个待备份数据中的任一目标待备份数据,若确定所述目标待备份数据存储在所述多个节点中的至少两个节点中,则从所述至少两个节点中选择目标节点;其中,所述目标节点对应的备份指令中包含指示对所述目标待备份数据进行备份的指示信息,所述至少两个节点中除所述目标节点之外的其他节点对应的备份指令中不包含对所述目标待备份数据进行备份的指示信息。在上述实现方式中,备份服务装置在确定各节点的备份指令时,可以先确定待备份数据是否被存储在多个节点中,若被存储在多个节点中,为了避免多个节点重复对相同的数据进行重复备份,可以从存储该待备份数据的多个节点中选择一个节点对该数据进行备份即可,而其他节点则不再对该数据进行备份,从而减少对冗余数据的备份,有助于降低备份所需时间、备份数据所占用的存储空间以及恢复备份数据所需时间。

6、在一种可能的实现方式中,所述从所述至少两个节点中选择目标节点,包括:确定所述至少两个节点中每个节点的数据冷热分布和/或数据增量变化,每个节点的数据冷热分布用于表示所述节点中热数据和/或冷数据的存储分布,每个节点的数据增量变化用于表示所述节点中存储的数据增量变化;根据所述至少两个节点中每个节点的数据冷热分布和/或数据增量变化,从所述至少两个节点中选择目标节点。当一个待备份数据在多个节点中存储时,备份服务装置可以根据该多个节点中冷热数据的分布、数据增量变化等信息,估计各节点的负载情况,从而从存储相同待备份数据的多个节点中选择用于对待备份数据进行备份的节点,例如,可以选择当前负载较轻的节点对待备份数据进行备份。

7、在一种可能的实现方式中,向每个所述节点分别发送对应的备份指令之前,还包括:针对所述多个节点中的任一目标节点,若确定所述目标节点存储的待备份数据存在重复的数据块,则向所述目标节点发送去重指令,所述去重指令用于指示所述目标节点在对存储的所述待备份数据进行备份之前,对存储的所述备份数据执行去重处理,得到去重后的待备份数据。同一节点中的待备份数据中也可能存在重复的数据块,备份服务装置可以确定每个节点中存储的每个待备份数据中是否存在重复的数据块,若存在,则指示该节点对待备份数据进行备份时,先对待备份数据中的重复数据块进行去重处理,再将去重处理后的数据备份至存储服务器,从而有助于减少备份数据所占用的存储空间。

8、在一种可能的实现方式中,所述确定所述目标节点中存储的待备份数据存在重复的数据块,包括:确定所述目标节点中存储的待备份数据包括的各个数据块按业务类型的分布和/或数据增量变化,所述按业务类型的分布表示所述各个数据块按照业务类型的存储分布情况,所述数据增量变化用于表示每个节点中的数据增量变化;根据所述各个数据块按业务类型的分布和/或数据增量变化的分布,确定所述目标节点中存储的待备份数据是否存在重复的数据块。备份服务装置可以根据各节点中数据块按业务类型的分布、数据增量变化等信息,估计节点中待备份数据中是否存在重复的数据块,例如,若目标节点的数据增量变化表示其存储的数据在一段时间内数据量增加较大,则表征该目标节点中存储的待备份数据较大可能存在重复的数据块。

9、在一种可能的实现方式中,所述方法还包括:根据所述各个数据块按业务类型的分布,确定对所述重复的数据块进行去重处理的算法,所述去重指令中还包括指示所述去重处理的算法的指示信息,以使所述目标节点根据所述去重处理的算法对所述重复的数据块进行去重处理。不同的业务类型的数据块,适用的去重处理算法可能有所不同,根据重复数据块的业务类型,选择适合该类型的去重处理算法,能够有效进行数据去重,从而进一步降低备份数据的冗余。

10、在一种可能的实现方式中,所述方法还包括:获取以下信息中的一种或多种:备份周期,表示对所述至少一个待备份数据进行备份的周期;备份条件,表示对所述至少一个待备份数据进行备份的触发条件;数据冷热分布策略,用于指示对所述待备份数据中的热数据的备份频率和对所述待备份数据中的冷数据的备份频率;备份资源限制策略,用于指示所述多个节点对所述至少一个待备份数据进行备份时使用的最大计算资源和/或内存资源;获取特征周期,表示获取至少一个待备份数据的特征信息的周期;获取特征条件,表示获取至少一个待备份数据的特征信息的触发条件;所述根据所述至少一个待备份数据分别在多个节点中的存储分布,确定针对每个所述节点的备份指令,包括:根据所述至少一个待备份数据分别在多个节点中的存储分布和获取到的至少一种所述信息,确定针对每个所述节点的备份指令。备份服务装置根据备份周期/条件在需要进行备份时生成备份指令,从而可以满足用户的备份数据的更新需求;备份服务装置根据数据冷热分布策略生成备份指令,在满足对热数据的备份需求的同时可以减少数据备份消耗的资源;备份服务装置根据备份资源限制策略生成备份指令,能够避免各节点对目标数据备份时占用过多资源影响正常的业务流程;备份服务装置根据获取的特征周期/条件更新待备份数据的特征,根据更新后的待备份数据的特征生成的备份指令,可以更适合当前各节点中待备份数据的存储情况,有助于提高备份效率。

11、在一种可能的实现方式中,所述方法还可以包括:根据每个所述节点需要备份的待备份数据,估计每个所述节点备份对应的待备份数据所需要的时长,根据每个所述节点备份对应的待备份数据所需要的时长估算完成对所述至少一个待备份数据进行备份所需的总时长。备份服务装置根据各节点需要备份的待备份数据,估计数据备份过程所需的时长,从而便于备份服务提供方和用户对备份所需时长、服务计费等有所了解。

12、在一种可能的实现方式中,所述方法还包括:根据需要备份的至少一个待备份数据,估计对所述至少一个待备份数据进行备份所需的存储空间。备份服务装置根据需要备份的至少一个待备份数据,能够对所需存储空间做出较为准确的预估,从而便于备份服务提供方分配充足的备份存储空间、服务计费等操作,也便于用户对备份数据所需的备份存储空间、备份服务费有所预见。

13、在一种可能的实现方式中,所述特征信息还包括以下信息中的一种或多种:待备份数据的文件类型,文件大小,访问权限,时间戳,存储路径,内容特征。

14、第二方面,本技术实施例提供一种数据备份装置,所述装置包括执行上述第一方面以及第一方面的任意一种可能的设计的方法的模块/单元;这些模块/单元可以通过硬件实现,也可以通过硬件执行相应的软件实现。

15、示例性的,该装置可以包括接口模块和处理模块;所述接口模块,用于获取至少一个待备份数据的特征信息,所述特征信息包括所述至少一个待备份数据分别在多个节点中的存储分布;所述处理模块,用于根据所述至少一个待备份数据分别在多个节点中的存储分布,确定针对每个所述节点的备份指令;所述接口模块,还用于向每个所述节点分别发送对应的备份指令,所述备份指令用于指示对应的所述节点将所述节点存储的目标备份数据备份至存储服务器中,其中,不同所述备份指令用于指示不同的所述节点将存储的不同的目标备份数据备份至所述存储服务器。

16、第三方面,本技术实施例提供一种计算机设备,包括存储器和处理器;所述存储器存储有计算机程序;所述处理器用于调用所述存储器中存储的计算机程序,执行如第一方面及任一种实现方式所述的数据备份方法。

17、第四方面,本技术实施例提供一种数据备份服务系统,包括:多个节点和存储服务器,还包括如第三方面所述的计算机设备或第二方面所述的数据备份装置。

18、第五方面,本技术实施例中提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可读指令,当所述计算机可读指令在计算机上运行时,使得如第一方面任一种可能的实现方式所述的方法被执行。

19、第六方面,本技术实施例提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得如第一方面及任一种可能的实现方式所述的方法被执行。

20、上述第二方面至第六方面中任一方面中的任一可能实现方式可以实现的技术效果,请参照上述第一方面中相应实现方案可以达到的技术效果说明,重复之处不予论述。


技术特征:

1.一种数据备份方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述至少一个待备份数据和所述至少一个待备份数据分别在多个节点中的存储分布,确定针对每个所述节点的备份指令,包括:

3.根据权利要求2所述的方法,其特征在于,所述从所述至少两个节点中选择目标节点,包括:

4.根据权利要求1-3任一项所述的方法,其特征在于,向每个所述节点分别发送对应的备份指令之前,还包括:

5.根据权利要求4所述的方法,其特征在于,所述确定所述目标节点中存储的待备份数据存在重复的数据块,包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:

8.一种数据备份装置,其特征在于,包括接口模块和处理模块:

9.根据权利要求8所述的装置,其特征在于,所述处理模块,具体用于:

10.根据权利要求9所述的装置,其特征在于,所述处理模块在从所述至少两个节点中选择目标节点时,具体用于:

11.根据权利要求8-10任一项所述的装置,其特征在于,所述处理模块,还用于:

12.根据权利要求11所述的装置,其特征在于,所述处理模块在确定所述目标节点中存储的待备份数据存在重复的数据块时,具体用于:

13.根据权利要求12所述的装置,其特征在于,所述处理模块还用于:

14.根据权利要求8-13任一项所述的装置,其特征在于,所述接口模块还用于:

15.一种计算机设备,其特征在于,包括存储器和处理器;

16.一种数据备份服务系统,其特征在于,包括:

17.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得所述计算机执行如权利要求1-7任一项所述的方法。


技术总结
本申请公开了一种数据备份方法、装置及计算机设备。该方法中,获取至少一个待备份数据的特征信息,包括至少一个待备份数据分别在多个节点中的存储分布;根据上述存储分布,确定针对每个节点的备份指令;向每个节点分别发送对应的备份指令,备份指令用于指示对应的节点将节点存储的目标备份数据备份至存储服务器中,其中,不同备份指令用于指示不同的节点将存储的不同的目标备份数据备份至存储服务器。采用上述方法,能够有效减少不同节点对重复数据的备份,从而降低备份所需的时间,减少了备份数据所占用的备份存储空间,而备份数据的减少,还能够使得后续恢复备份数据的恢复时长缩短,从而提高备份服务系统的备份效率,以及用户体验。

技术研发人员:胡圣东,陈常龙,马刚
受保护的技术使用者:华为技术有限公司
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-30410.html

最新回复(0)