数据使用量统计方法、装置、设备及介质与流程

allin2025-06-06  80


本发明涉及数据处理,特别涉及数据使用量统计方法、装置、设备及介质。


背景技术:

1、传统的文件系统、块存储在面对海量数据的支撑时逐渐显得乏力,扁平化数据组织的对象存储的优势逐渐显现,各大行业对于对象存储的应用越来越广泛,对象存储提供标准存储、低频存储和归档存储三种存储类型,分别存储活动期、衰退期和归档期的数据。数据统计是一个不可或缺的工作。

2、现有的基于ceph分布式文件系统的对象存储方案为radosgw,该方案有专门的使用量统计组件对每个桶的现用使用量进行统计,但是所有类型的数据使用量均整合到了一个变量里,无法区分各个存储类型数据的总大小以及对象个数。

3、综上所述,需要一种方式来实现对ceph radosgw数据使用量的按存储类型分别统计。


技术实现思路

1、本发明实施例提供了数据使用量统计方法、装置、设备及介质,能够实现cephradosgw数据使用量的统计信息按照存储类型分类。

2、根据本发明的一方面,提供了一种数据使用量统计方法,包括:

3、响应于针对对象数据的业务操作,在对象存储系统rados层对所述对象数据执行所述业务操作;

4、基于所述对象数据的存储类型及所述业务操作,更新所述对象数据对应的所述存储类型的统计信息;

5、将所述统计信息保存到存储空间中所述存储类型对应的存储分区,其中,在所述存储空间中,每种存储类型对应一个存储分区。

6、可选的,所述基于所述对象数据的存储类型在对象存储系统rados层执行所述业务操作,包括:

7、所述业务操作为上传时,将所述对象数据存入所述rados层;

8、所述业务操作为删除时,将所述对象数据从所述rados层中删除。

9、可选的,在所述业务操作为上传时,所述基于所述对象数据的存储类型及所述业务操作,更新所述对象数据对应的所述存储类型的统计信息,包括:

10、确定所述数据类型在所述rados层中是否存在;

11、若不存在,在map中新增所述数据类型对应的key,将所述对象数据的统计信息记录存入该key对应的value,其中,所述map中包括至少一个key,每个key对应一个数据类型,value为对应的key的统计信息;

12、若存在,在所述存储类型对应的key的value中增加所述对象数据的数据记录;若所述存储类型对应的key存在所述对象数据对应的value,则在value中减去原对象数据的value并添加对象数据的value。

13、可选的,在所述业务操作为删除时,所述基于所述对象数据的存储类型及所述业务操作,更新所述对象数据对应的所述存储类型的统计信息,包括:

14、将所述对象数据的统计信息从所述存储类型对应的map中进行删减,将剩余的统计信息存入所述key中。

15、可选的,该方法还包括:

16、相应于清除目标存储类型的清除操作,将所述目标存储类型对应的数据记录从所述map中清除所述目标存储类型的统计信息;

17、检测所述目标存储类型的使用量,若使用量的大小和对象数据数目均为0时,在所述map中清除掉所述目标存储类型对应的key。

18、可选的,该方法还包括:

19、响应于对于存储空间或用户的查询指令,通过命令radosgw-admin bucket stats的usage字段查看所述存储空间或所述用户的使用量,其中,所述usage字段包括查询指令对应的查询条件。

20、可选的,该方法还包括:

21、根据各所述文件容器的使用量,确定每个所述存储类型的资源池pool的存储空间,对存储空间不足的资源池pool进行扩容,其中,不同存储类型的数据存放在不同资源池pool中。

22、根据本发明的另一方面,提供了一种数据使用量统计装置,包括:

23、执行单元,用于响应于针对对象数据的业务操作,在对象存储系统rados层对所述对象数据执行所述业务操作;

24、更新单元,用于基于所述对象数据的存储类型及所述业务操作,更新所述对象数据对应的所述存储类型的统计信息;

25、保存单元,用于将所述统计信息保存到存储空间中所述存储类型对应的存储分区,其中,在所述存储空间中,每种存储类型对应一个存储分区。

26、根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:

27、至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的数据使用量统计方法。

28、根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据使用量统计方法。

29、本发明实施例提供了数据使用量统计方法、装置、设备及介质,响应于针对对象数据的业务操作,在对象存储系统rados层对所述对象数据执行所述业务操作;基于所述对象数据的存储类型及所述业务操作,更新所述对象数据对应的所述存储类型的统计信息;将所述统计信息保存到存储空间中所述存储类型对应的存储分区,其中,在所述存储空间中,每种存储类型对应一个存储分区。本发明实施例的方案按照对象的存储类型,对使用量进行分类统计,方便用户对数据的管理、分析。

30、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。



技术特征:

1.数据使用量统计方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述对象数据的存储类型在对象存储系统rados层执行所述业务操作,包括:

3.根据权利要求2所述的方法,其特征在于,在所述业务操作为上传时,所述基于所述对象数据的存储类型及所述业务操作,更新所述对象数据对应的所述存储类型的统计信息,包括:

4.根据权利要求2所述的方法,其特征在于,在所述业务操作为删除时,所述基于所述对象数据的存储类型及所述业务操作,更新所述对象数据对应的所述存储类型的统计信息,包括:

5.根据权利要求1所述的方法,其特征在于,进一步包括:

6.根据权利要求1所述的方法,其特征在于,进一步包括:

7.根据权利要求1所述的方法,进一步包括:

8.数据使用量统计装置,其特征在于,包括:

9.电子设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的数据使用量统计方法。

10.计算机可读介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的数据使用量统计方法。


技术总结
本发明提供了数据使用量统计方法、装置、设备及介质。响应于针对对象数据的业务操作,在对象存储系统rados层对所述对象数据执行所述业务操作;基于所述对象数据的存储类型及所述业务操作,更新所述对象数据对应的所述存储类型的统计信息;将所述统计信息保存到存储空间中所述存储类型对应的存储分区,其中,在所述存储空间中,每种存储类型对应一个存储分区。本发明的方案能够按照对象的存储类型,对使用量进行分类统计,方便用户对数据的管理、分析。

技术研发人员:张圣明,尹萍,孙兴艳
受保护的技术使用者:浪潮云信息技术股份公司
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-21857.html

最新回复(0)