基于区块链的分布式群体学习系统及方法与流程

allin2026-07-25  6


本发明涉及信息,具体涉及一种基于区块链的分布式群体学习系统及方法。


背景技术:

1、随着人工智能技术的迅速发展,机器学习和深度学习模型的训练越来越依赖于大规模数据集;例如金融领域信用评分模型训练、医疗健康领域间协作训练诊断模型、物联网安全领域通过大量分散设备产生的数据训练安全模型、教育领域将学生的学习数据在本地加密处理后参与个性化学习模型训练等,但是,在大规模收集数据进行模型训练以发展行业的同时,数据的隐私性难以得到保障,传统的集中式学习系统面临着数据隐私泄露、中心化管理成本高、数据孤岛等问题;分布式学习(如联邦学习)虽在一定程度上缓解了这些问题,但仍存在模型更新同步难度大、数据贡献难以确权等挑战。


技术实现思路

1、本发明意在提供基于区块链的分布式群体学习系统及方法,以融合分布式计算的优势与数据安全的需求。

2、为达到上述目的,本发明采用如下技术方案:

3、基于区块链的分布式群体学习系统,包括:

4、分布式学习架构构建模块,用于构建由多个参与节点组成的分布式群体学习网络,每个节点持有用于模型训练的数据;

5、区块链存储构建模块,用于在分布式群体学习网络基础上,部署去中心化的区块链,通过区块链存储元数据、交易记录及智能合约;

6、动态共识调整模块,用于根据不同阶段的学习需求和网络状态动态调整共识机制。

7、本方案的原理及优点是:实际应用时,分布式学习架构构建模块用于构建由多个参与节点组成的分布式群体学习网络,每个节点持有用于模型训练的数据;基于分布式学习架构,便于在分布式的数据之间搭建联系通道,避免数据孤岛,促进大规模数据集合;区块链存储构建模块用于在分布式群体学习网络基础上,部署去中心化的区块链,通过区块链平台存储元数据、交易记录及智能合约;区块链的不可篡改特性确保了分布式群体学习过程的透明度和历史可追溯性,区块链的加密特性和去中心化结构便于有效防止数据泄露,保护用户隐私;同时,去中心化减少了对传统中介的信任和依赖,降低了运营成本,使得数据共享和模型训练的过程更加高效、直接;动态共识调整模块用于根据不同阶段的学习需求和网络状态动态调整共识机制;传统分布式系统模型更新同步存在延迟和效率问题,通过分布式架构和动态共识机制保证了数据更新的一致性,提高了计算资源的使用效率,降低了集中式系统的负担。

8、优选的,作为一种改进,所述分布式学习架构构建模块还包括:

9、节点贡献评估子模块,用于基于节点贡献值评估模型对所述节点提供的数据进行贡献评估,得到节点贡献值;

10、贡献值归一化处理子模块,用于根据归一化处理模型对节点贡献值进行归一化处理。

11、技术效果:通过节点归一化处理,便于将节点进行个性化分配和管理。

12、优选的,作为一种改进,所述节点贡献值评估模型为:

13、gi=ω1vi+ω2si+ω3ki+ω4ri+ω5ci

14、其中,ω1,...,ω1为权重值;vi为节点i的数据处理能力值;si为节点i的数据处理量;ki为节点i的数据可用性;ri为节点i的数据容错性;ci为节点i的数据使用率。

15、技术效果:通过上述模型,从节点数据处理能力、处理量、可用性、容错率和使用率角度对节点贡献进行评估,提高评估准确性。

16、优选的,作为一种改进,所述归一化处理模型为:

17、

18、其中,g1~gm为归一化初始值;g1~gm为阈值范围端值;μ1~μm为调节常数系数,m为归一化分段数。

19、技术效果:基于上述归一化处理模型,便于根据实际需求将归一化分数分成若干段,并根据分段进行分类,从而归类处理。

20、优选的,作为一种改进,所述分布式学习架构构建模块还包括:

21、激励分配子模块,用于在每轮模型完成训练后并提交到区块链时,根据节点的贡献值对节点进行奖励分配;

22、节点优化子模块,用于根据节点的贡献值,对节点数据进行剔除操作;

23、网络优化子模块,用于根据节点的历史贡献值,按照联网规则对各节点进行阶段性联网。

24、技术效果:通过奖励分配便于激发更多参与者加入,促进学习系统的持续优化和扩展;通过节点优化和网络优化,便于提高模型性能。

25、优选的,作为一种改进,所述联网的规则为:获取联网约束条件,判断节点是否满足约束条件,所述约束条件为:

26、ls_i≤ρil(x)

27、其中,ls_i为联网阈值,ρi为历史贡献均值,l(x)为历史贡献调节值,当上式成立时,则对节点i进行联网,否则将节点i挂起,等待联网;

28、

29、其中,gm为第m次贡献值归一化处理值,m为节点贡献值计算总次数;xn为历史联网成功次数,xm-n为历史挂起次数,βm为调节常数系数。

30、技术效果:根据联网规则,便于将高价值节点的数据进行学习,同时缓解网络拥堵情况,同时节省区块链有效存储空间。

31、优选的,作为一种改进,所述根据不同阶段的学习需求和网络状态动态调整共识机制为根据网络拥堵情况和模型训练进度,动态调整区块生成时间及选择不同的共识算法。

32、技术效果:便于优化网络资源使用。

33、优选的,作为一种改进,还包括隐私保护模块,用于采用同态加密及差分隐私技术保护训练数据的隐私。

34、技术效果:即使在模型参数交换过程中,也能确保原始数据不被泄露,同时支持模型更新的有效验证。

35、优选的,作为一种改进,还包括接口标准化模块,用于提供系统标准化接口。

36、技术效果:便于支持多种分布式学习算法和区块链的集成,为不同行业和场景的应用提供高度灵活性和可扩展性,便于技术的快速部署和未来升级。

37、还包括基于区块链的分布式群体学习方法,应用于所述基于区块链的分布式群体学习系统中。



技术特征:

1.基于区块链的分布式群体学习系统,其特征在于,包括:

2.根据权利要求1所述的基于区块链的分布式群体学习系统,其特征在于,所述分布式学习架构构建模块还包括:

3.根据权利要求2所述的基于区块链的分布式群体学习系统,其特征在于,所述节点贡献值评估模型为:

4.根据权利要求2所述的基于区块链的分布式群体学习系统,其特征在于,所述归一化处理模型为:

5.根据权利要求2所述的基于区块链的分布式群体学习系统,其特征在于,所述分布式学习架构构建模块还包括:

6.根据权利要求5所述的基于区块链的分布式群体学习系统,其特征在于,所述联网的规则为:获取联网约束条件,判断节点是否满足约束条件,所述约束条件为:

7.根据权利要求1所述的基于区块链的分布式群体学习系统,其特征在于:所述根据不同阶段的学习需求和网络状态动态调整共识机制为根据网络拥堵情况和模型训练进度,动态调整区块生成时间及选择不同的共识算法。

8.根据权利要求1所述的基于区块链的分布式群体学习系统,其特征在于:还包括隐私保护模块,用于采用同态加密及差分隐私技术保护训练数据的隐私。

9.根据权利要求1所述的基于区块链的分布式群体学习系统,其特征在于:还包括接口标准化模块,用于提供系统标准化接口。

10.基于区块链的分布式群体学习方法,其特征在于:应用于权利要求1-9所述基于区块链的分布式群体学习系统中。


技术总结
本发明涉及信息技术领域,公开了一种基于区块链的分布式群体学习系统及方法。基于区块链的分布式群体学习系统包括:分布式学习架构构建模块,用于构建由多个参与节点组成的分布式群体学习网络,每个节点持有用于模型训练的数据;区块链存储构建模块,用于在分布式群体学习网络基础上,部署去中心化的区块链,通过区块链存储元数据、交易记录及智能合约;动态共识调整模块,用于根据不同阶段的学习需求和网络状态动态调整共识机制。本申请能够融合分布式计算的优势与数据安全的需求。

技术研发人员:杨东鑫,段勃,黄永洪,李浩澜,张杨,陆引
受保护的技术使用者:中科计算技术西部研究院
技术研发日:
技术公布日:2024/10/31
转载请注明原文地址: https://www.8miu.com/read-29681.html

最新回复(0)