本发明涉及机器学习领域，尤其涉及一种通算协同的混合多学习模式选择方法。
背景技术：
1、移动终端的普及导致数据生成量空前激增，推动了无线分布式智能的发展步伐。联邦学习(fl federated learning)作为一种著名的分布式学习模式，在无线网络中的应用日益受到关注。在联合学习模式中，移动终端同时从中央服务器下载全局深度神经网络(dnn,deep neural network)模型，使用自己的数据训练本地模型，并将模型更新上传回服务器。服务器汇总这些更新，创建一个新的全局模型。这一过程会重复多轮，直至收敛。联邦学习可在众多移动终端上实现并行、高效的dnn模型训练。然而，联邦学习的一个主要限制是，它要求终端拥有足够的计算资源来在本地训练整个模型，这对于处理能力有限的终端来说可能是一个限制。
2、为了缓解这些问题，在无线网络中引入并研究了分割学习(sl split learning)。分割学习创新性地将完整的dnn模型拆分为两个独立部分：边缘模型和本地模型，分别在服务器和终端上进行训练，分割学习中的终端按顺序训练模型。具体来说，第一个终端从服务器下载本地模型，与服务器联合执行前向传播和后向传播以完成整个模型训练，并将更新后的本地模型上传到服务器。这一过程由后续终端依次执行。虽然分割学习通过卸载部分模型训练有效地减少了终端的计算负荷，并通过克服终端间非独立同分布数据集的负面影响提高了学习性能，但由于其顺序性，确实会显著增加训练时间。
3、为了充分利用这两种学习模式的优势，大量研究人员致力于将联邦学习和分割学习整合在一起。混合分割和联合学习(hsfl hybrid split and federated learning)，即一部分终端参与联邦学习训练，而其他终端参与分割学习训练。
4、因此，本领域的技术人员致力于开发一种通算协同的混合多学习模式选择方法，提供了更灵活的学习模式选择，进一步提高学习性能。
技术实现思路
1、有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提高混合式分割和联邦学习的学习性能。
2、为实现上述目的，本发明提供了一种通算协同的混合多学习模式选择方法，包括以下步骤：
3、步骤1、终端的学习模式，分为联邦学习和分割学习；
4、步骤2、选择最优的分割层；
5、步骤3、进行终端学习模式的更改，继续所述步骤2，选择最优的终端学习模式。
6、进一步地，每一轮训练都进行所述终端学习模式的抉择。
7、进一步地，根据训练效果和训练时延，选择所述终端的学习模式。
8、进一步地，所述终端学习模式抉择的目标函数为：
9、
10、其中，ρ是超参数，是训练时延，是第t个通信轮次分割学习终端的数量。
11、进一步地，ρ＝0.002。
12、进一步地，最小化所述目标函数。
13、进一步地，所述步骤1，随机初始化所述终端的学习模式，分为参与联邦学习用户簇和参与分割学习用户簇。
14、进一步地，所述步骤2，计算所述终端选择不同的分割层的时延，从中选择最优的分割层。
15、进一步地，所述步骤3、通过gibbs抽样算法进行所述终端学习模式的更改。
16、进一步地，所述终端学习的目标是最小化全局损失函数。
17、现有一些研究仅针对于架构进行了变更，但是并没有考虑到架构的变更之后新架构内在的联系，比如联邦学习和分割学习相比，分割学习因为通信负载更高，所以终端可能需要更多的通信能力，而联邦学习本地训练负载过高，所以终端可能需要更高的计算能力。同时对于分割学习分割层的选择会影响时延，因此如何选择分割层将是一个问题。本发明在混合式分割和联邦学习架构的基础上，考虑了分割学习中分割层的选择，因为分割层会导致传输的激活值和梯度的数据量发生变化，从而带来时延的差异化，因此一个好的分割层选择可以让训练更快。在上面的分割层优化基础上，由于混合式分割和联邦学习不同终端参与不同的学习模式会给时延和收敛效果带来不同的影响，因此引入了终端学习模式选择的优化。在所提的架构中，计算能力弱的终端可以选择参与分割学习，降低本地计算负载，计算能力强的终端参与联邦学习，降低通信负载。对于分割学习的分割层的选择，由于模型层的数量较为有限，因此选择穷搜的方式寻找一个最优的分割层。然后切换不同的终端选择组合，继续上面的最优化过程，直到时延的变化在很小的区间内认定为最优解。
18、本发明与现有技术相比较，具有如下显而易见的实质性特点和显著优点：
19、1.本发明训练效果最优，在优化算法的增益之下优势非常显著。
20、2.本发明可以加速训练，帮助机器学习模型落地更佳快速。
21、3.本发明应用于医院的病历诊断模型，可以进行病人的病症的前置的快速诊断，提高就医效率。
22、以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
1.一种通算协同的混合多学习模式选择方法，其特征在于，包括以下步骤：
2.如权利要求1所述的通算协同的混合多学习模式选择方法，其特征在于，每一轮训练都进行所述终端学习模式的抉择。
3.如权利要求2所述的通算协同的混合多学习模式选择方法，其特征在于，根据训练效果和训练时延，选择所述终端的学习模式。
4.如权利要求2所述的通算协同的混合多学习模式选择方法，其特征在于，所述终端学习模式抉择的目标函数为：
5.如权利要求4所述的通算协同的混合多学习模式选择方法，其特征在于，ρ＝0.002。
6.如权利要求4所述的通算协同的混合多学习模式选择方法，其特征在于，最小化所述目标函数。
7.如权利要求1所述的通算协同的混合多学习模式选择方法，其特征在于，所述步骤1，随机初始化所述终端的学习模式，分为参与联邦学习用户簇和参与分割学习用户簇。
8.如权利要求1所述的通算协同的混合多学习模式选择方法，其特征在于，所述步骤2，计算所述终端选择不同的分割层的时延，从中选择最优的分割层。
9.如权利要求1所述的通算协同的混合多学习模式选择方法，其特征在于，所述步骤3、通过gibbs抽样算法进行所述终端学习模式的更改。
10.如权利要求1所述的通算协同的混合多学习模式选择方法，其特征在于，所述终端学习的目标是最小化全局损失函数。
