一种连接存储结构的数据存储方法、装置和设备与流程

allin2026-07-15  20


本发明涉及数据存储,具体涉及一种连接存储结构的数据存储方法、装置和设备。


背景技术:

1、连接存储结构是一种存储结构,它将数据存储在一个或多个节点中,并通过连接这些节点来组织数据。目前,连接存储结构应用广泛,例如自动化领域的信息物理系统、计算机领域的分布式计算机系统和光伏领域的高速公路光伏电站均涉及大规模数据,往往采用连接存储结构将大规模数据存储到多个不同的存储节点中。而当数据规模庞大且快速增长时,需要考虑数据存储的均衡性和查找效率,希望各存储节点存储数据的数量和体量不要相差太大以保证存储的均衡性,希望各存储节点存储的数据相对完整以保证查找效率。一些常用的数据库管理数据的方法很难解决上述问题。


技术实现思路

1、有鉴于此,本发明提供了一种连接存储结构的数据存储方法、装置和设备,以解决连接存储结构数据存储不均衡和查找效率不高的问题。

2、第一方面,本发明提供了一种连接存储结构的数据存储方法,所述方法包括:创建首尾相接的哈希环,并根据所述哈希环的哈希数值范围定义哈希函数;通过所述哈希函数对各个存储节点的节点唯一标识进行计算,确定各个存储节点在所述哈希环上的存储哈希位;通过所述哈希函数对各份待存数据的数据唯一标识进行计算,确定各份待存数据在所述哈希环上的数据哈希位;根据所述哈希环预定义的数据流转方向,将各数据哈希位对应的待存数据存入前方距离最近的存储哈希位所对应的存储节点;将各个存储节点中已删除数据对应的数据唯一标识存入布隆过滤器。

3、在一些可选地实施方式中,所述方法还包括:接收数据查找请求;提取所述数据查找请求中的数据查找标识;通过所述布隆过滤器识别所述数据查找标识是否与已删除数据对应的数据唯一标识相同;若相同则反馈数据不存在信息;若不相同则从各个存储节点中根据所述数据查找标识进行数据查找。

4、在一些可选地实施方式中,所述方法还包括:为每份待存数据创建备份数据,并为每份备份数据分配备份唯一标识;将各个备份数据的备份唯一标识和对应待存数据的数据唯一标识进行关联,得到标识关联关系;通过所述哈希函数对各备份唯一标识进行计算,得到各个备份数据在所述哈希环上的备份哈希位;根据所述哈希环预定义的数据流转方向,将各备份哈希位对应的备份数据存入前方距离最近的存储哈希位所对应的存储节点。

5、在一些可选地实施方式中,当同一份待存数据创建了多份备份数据时,所述根据所述哈希环预定义的数据流转方向,将各备份哈希位对应的备份数据存入前方距离最近的存储哈希位所对应的存储节点,包括:根据所述哈希环预定义的数据流转方向,对当前待存数据对应的每一个备份哈希位分别识别前方距离最近的存储哈希位,得到若干识别存储哈希位;依次获取各识别存储哈希位对应存储节点的预设节点信息;按照预设节点信息的优先级顺序对各识别存储哈希位进行排序,并从序列中选择前预设个数的识别存储哈希位作为目标存储哈希位;将目标备份哈希位对应的备份数据存入目标存储节点,所述目标备份哈希位是根据所述哈希环预定义的数据流转方向对当前待存数据对应的每一个备份哈希位分别识别前方距离最近的存储哈希位步骤中,与所述目标存储哈希位对应的备份哈希位,所述目标存储节点是所述目标存储哈希位对应的存储节点。

6、在一些可选地实施方式中,所述方法还包括:当某个存储节点发生失效时,根据哈希环预定义的数据流转方向识别失效存储节点前方第一个存储节点,并将识别到的存储节点作为继承存储节点;根据所述标识关联关系从其他存储节点中提取继承数据,所述继承数据是所述失效存储节点中失效数据的备份数据;将所述继承数据并行迁移至所述继承存储节点。

7、在一些可选地实施方式中,所述方法还包括:当所述失效存储节点恢复正常为恢复存储节点时,重新通过所述哈希函数对所述恢复存储节点的节点唯一标识进行计算,确定恢复存储节点在所述哈希环上的存储哈希位;将所述继承存储节点中的继承数据并行迁移至所述恢复存储节点。

8、在一些可选地实施方式中,所述方法还包括:为各个存储节点创建若干虚拟节点,所述虚拟节点的物理存储位置与对应存储节点的物理存储位置相同;为每个虚拟节点分配虚拟唯一标识;通过所述哈希函数对各个虚拟唯一标识进行计算,确定各个虚拟节点在所述哈希环上的存储哈希位。

9、在一些可选地实施方式中,所述方法还包括:当增加新存储节点时,通过所述哈希函数对新存储节点的节点唯一标识进行计算,确定新存储节点在所述哈希环上的新存储哈希位;根据各个数据哈希位和所述新存储哈希位的位置关系,识别新存储哈希位从前方第一个旧存储哈希位分走的目标数据哈希位;将所述目标数据哈希位对应的数据,从目标旧存储哈希位对应的存储节点迁移到所述新存储节点,所述目标旧存储哈希位是所述新存储哈希位前方第一个旧存储哈希位。

10、第二方面,本发明提供了一种连接存储结构的数据存储装置,所述装置包括:哈希环创建模块,用于创建首尾相接的哈希环,并根据所述哈希环的哈希数值范围定义哈希函数;存储定位模块,用于通过所述哈希函数对各个存储节点的节点唯一标识进行计算,确定各个存储节点在所述哈希环上的存储哈希位;数据定位模块,用于通过所述哈希函数对各份待存数据的数据唯一标识进行计算,确定各份待存数据在所述哈希环上的数据哈希位;数据存储模块,用于根据所述哈希环预定义的数据流转方向,将各数据哈希位对应的待存数据存入前方距离最近的存储哈希位所对应的存储节点;过滤器设置模块,用于将各个存储节点中已删除数据对应的数据唯一标识存入布隆过滤器。

11、第三方面,本发明提供了一种计算机设备,包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述第一方面或其对应的任一实施方式的方法。

12、本发明提供的技术方案,具有如下优点:

13、本发明创建首尾相接的哈希环后,通过存储节点的标识和数据的标识分别在哈希环上确定对应的哈希位置,然后按照哈希环顺时针或逆时针的方向,将每个数据哈希位对应的数据存储到哈希环上最先碰到的存储节点,从而实现数据均衡存储的效果。并且每个存储节点的数据相对完整,结合布隆过滤器过滤各个存储节点中已删除数据,在数据查询时也能够起到快速查询的效果。另外,利用哈希环分配各个数据的存储,当连接存储结构的存储节点发生宕机或变化时,可以尽可能小地改变已存在的服务请求与处理请求服务器之间的映射关系,只有宕机存储节点负责哈希范围内的数据需要存储到下一个节点上,其他存储节点存储数据的映射关系均无变化,不会因为节点个数的增减而导致大部分数据的失效,从而提高了整体数据存储的稳定性。



技术特征:

1.一种连接存储结构的数据存储方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,当同一份待存数据创建了多份备份数据时,所述根据所述哈希环预定义的数据流转方向,将各备份哈希位对应的备份数据存入前方距离最近的存储哈希位所对应的存储节点,包括:

5.根据权利要求3或4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:

8.根据权利要求1所述的方法,其特征在于,所述方法还包括:

9.一种连接存储结构的数据存储装置,其特征在于,所述装置包括:

10.一种计算机设备,其特征在于,包括:


技术总结
本发明涉及数据存储技术领域,公开了一种连接存储结构的数据存储方法、装置和设备,方法包括:创建首尾相接的哈希环,并根据哈希环的哈希数值范围定义哈希函数;通过哈希函数对各个存储节点的节点唯一标识进行计算,确定各个存储节点在哈希环上的存储哈希位;通过哈希函数对各份待存数据的数据唯一标识进行计算,确定各份待存数据在哈希环上的数据哈希位;根据哈希环预定义的数据流转方向,将各数据哈希位对应的待存数据存入前方距离最近的存储哈希位所对应的存储节点;将各个存储节点中已删除数据对应的数据唯一标识存入布隆过滤器。本发明提高了连接存储结构数据存储的均衡性和数据查找效率。

技术研发人员:王竹
受保护的技术使用者:三一硅能(株洲)有限公司
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-29342.html

最新回复(0)