本发明涉及卫星网络安全检测领域，尤其涉及一种基于联邦学习的卫星网络入侵检测模型训练方法。
背景技术：
1、在数字化和信息化时代背景下，随着卫星网络的广泛应用和数据量的剧增，高效且准确的卫星网络入侵检测变得尤为重要。卫星网络安全领域需要先进技术以识别和响应潜在的网络威胁，而传统的集中数据进行训练的方案已不再适用于资源受限的卫星网络新场景。联邦学习作为一种分布式的机器学习算法为这个问题提供了新的解决方案。
2、联邦学习允许多个参与者共同训练一个模型，而无需直接交换数据。其核心优势在于隐私保护和数据安全性，因为数据保持在本地，只有模型参数或学习的更新被共享至中央服务器进行聚合。联邦学习特别适用于数据敏感或难以集中存储的场景，并降低了数据传输的需求。因此，联邦学习在资源受限的卫星网络环境中是一种高效的学习机制。
3、联邦蒸馏是一种结合了联邦学习和知识蒸馏技术的先进学习方法，旨在提高分布式机器学习的效率和效果。联邦蒸馏的关键优势在于它结合了联邦学习的隐私保护特性和知识蒸馏在效率和性能上的优点，使得在多节点环境中的学习更加高效和有效。因此联邦蒸馏尤其适合于数据隐私敏感、节点间通信受限或需要处理大量分散数据的场景。通过联邦蒸馏，各节点可以共享和利用全局知识，从而提高整体模型的性能，同时保护每个节点的数据隐私。
4、因此，本发明设计一种能够适用于资源受限的卫星网络环境、具有更强泛化性能的基于联邦学习的卫星网络入侵检测模型训练方法。
技术实现思路
1、本发明给出一种基于联邦学习的卫星网络入侵检测模型训练方法，采取的技术方案包括以下步骤：
2、步骤1，构建卫星网络联邦学习环境，服务器节点及每个卫星节点收集并存储网络数据，包括信号强度、传输延迟以及其他网络流数据；
3、步骤2，在服务器节点部署全局模型，在卫星节点根据各自网络环境以及资源情况构建不同的本地模型，并初始化不同的本地模型；
4、步骤3，使用双向知识蒸馏技术，将服务器节点的全局模型视为教师模型，各个卫星节点的本地模型视为学生模型，进行双向知识蒸馏，以提升各节点模型的泛化能力和对复杂网络环境的适应性；
5、步骤4，使用联邦蒸馏框架训练模型，直至各卫星节点本地模型收敛。
6、进一步地，诉述步骤1的具体步骤如下：
7、步骤1.1：构建联邦学习框架，连接不同的卫星网络节点；
8、步骤1.2：确保数据隐私和安全，采用加密技术保护节点间的通信；
9、步骤1.3：由服务器端通过安全的通信链路下发公共数据集等必要数据。
10、进一步地，诉述步骤2的具体步骤如下：
11、步骤2.1：各个卫星节点定义本地网络入侵检测神经网络模型；
12、服务器和卫星节点部署有相似网络结构的神经网络模型，其中，服务器节点模型网络层数更多，参数量更大，性能更优，且已完成训练，卫星节点模型为尚未训练的简化模型且在训练开始前进行初始化；由于服务器和各卫星节点的资源不同，可以根据各自环境设置不同层数的神经网络模型；该神经网络模型使用带自注意力机制的双向长短期记忆神经网络模型，该网络模型多用于捕捉时间序列数据中的前后依赖关系，模型结构定义为：
13、
14、其中，和分别表示在时刻t的正向和反向长短期记忆单元的隐藏状态，xt表示输入序列，[·；·]表示连接操作。
15、自注意力机制用于对双向长短期记忆神经网络的隐藏状态进行加权，以捕捉序列中不同时刻的重要性。自注意力机制的输出表示为加权后的隐藏状态a＝{a1，a2，...，at}，其中at表示第t个时刻的加权后的隐藏状态。自注意力机制的计算过程可以表示为：
16、
17、其中，t表示为序列的长度，也就是时刻的数量，et·em表示第t个时刻和第m个时刻的注意力分数，softmax(·)为softmax函数，用于将注意力分数归一化为权重。
18、步骤2.2：初始化各节点模型
19、本地模型进行初始化训练是一个有监督的学习过程，第k个拥有私有数据集dk的卫星节点，第k个卫星节点选取私有数据集dk以及公共数据集ds，生成一个组合数据集以较少的轮次训练本地模型。该过程的损失函数可表示为：
20、
21、其中，是第k个卫星节点的对于组合数据集第i个样本的预测输出，yi是第i个样本对应的正确的标签，loss(·)是损失函数，|dk|表示数据集dk中样本的数量，|ds|表示数据集ds中样本的数量。
22、进一步地，诉述步骤3的具体步骤如下：
23、步骤3.1：服务器广播当前的全局软标签；
24、步骤3.2：卫星节点接收全局软标签以蒸馏模型，并结合本地私有数据微调模型；
25、步骤3.3：卫星节点根据本地蒸馏模型计算局部软标签并上传服务器；
26、步骤3.4：服务器节点收集并聚合各卫星节点局部软标签以产生更新的全局软标签，蒸馏全局模型；
27、进一步地，诉述步骤3.1的具体步骤如下：
28、步骤3.1.1：服务器更新全局模型并计算全局软标签。这一步涉及运行全局模型在服务器端的数据集上，以生成预测的类别分布；
29、步骤3.1.2：广播这些全局软标签到所有卫星网络节点。这需要确保数据传输过程中的高效性和安全性。
30、进一步地，诉述步骤3.2的具体步骤如下：
31、步骤3.2.1：卫星节点接收全局软标签，并利用这些信息以蒸馏它们的本地模型。这可以视为一种知识迁移，使本地模型能够从全局模型学习；
32、步骤3.2.2：本地模型使用联邦学习框架下的卫星节点的私有数据进行训练优化训练过程。
33、第k个卫星节点从服务器获取全局软标签是通过计算其他卫星节点的局部软标签与全局模型的局部软标签p′i均值得到的输出分布，计算公式如下：
34、
35、其中，k为卫星节点数量，n为样本数。
36、各卫星节点从服务器获取全局软标签与公共数据集ds整合得到新的公共数据集d′s，将整合后的公共数据集d′s与私有数据集dk生成一个组合数据集以训练本地模型。
37、该过程可视作知识蒸馏和模型调优两个步骤，知识蒸馏过程如下：
38、全局模型与第k个卫星节点本地模型之间的蒸馏损失函数可表示为：
39、
40、其中，t2是温度参数，c为类别数，是第k个卫星节点在公共数据集上第i个样本对于分类类别j的全局软标签，是第k个卫星节点本地模型在公共数据集上第i个样本对于分类类别j的预测输出。
41、模型的预测损失函数可表示为：
42、
43、其中，onehot(·)为热独编码函数。
44、因此，训练第k个卫星节点模型的损失可表示为：
45、
46、其中，参数β是平衡卫星节点本地模型蒸馏损失与预测损失的参数。
47、模型调优过程如下：
48、第k个卫星节点本地模型使用本地私有数据dk进行调优训练，训练时的损失函数可表示为：
49、
50、其中，是模型预测第i个样本属于类别j的概率。
51、进一步地，诉述步骤3.3的具体步骤如下：
52、每个节点计算自己的局部软标签，并准备发送回服务器。这些局部软标签反映了每个节点特定环境下的模型性能。
53、第k个卫星节点的局部软标签是第k个卫星节点的本地模型对于公共数据集ds的预测输出，可表示为：
54、pk,i＝f(xi；θk) (9)
55、其中，xi是第i个样本的数据采样，θk是第k个卫星节点的模型参数。
56、进一步地，步骤3.4中，服务器将所有从卫星节点接收到的局部软标签进行聚合，并计算均值，计算公式如下：
57、
58、则全局模型的蒸馏损失可表示为：
59、
60、其中，t1是温度参数，pt是全局模型对于公共数据集的原始输出分布，ps是卫星节点本地模型对于公共数据集的原始输出分布，kl(·)是kl散度函数。
61、这个蒸馏过程是通过优化两个概率分布之间的kl散度函数实现的。全局模型的预测损失函数可表示为：
62、
63、因此，全局模型的训练损失由损失函数lkl和lpl组成，全局损失可表示为：
64、l＝αlkl+(1-α)lpl (13)
65、其中，参数α是平衡全局模型蒸馏损失lkl与预测损失lpl的参数。
66、进一步地，步骤4中使用联邦蒸馏框架训练模型，直至各卫星节点本地模型收敛。
67、使用联邦蒸馏框架训练模型确保了模型能够持续优化，同时每个节点的特定需求和数据特性都能在全局模型中得到体现。重复这一过程直到达到预定的收敛标准或性能指标，确保了模型的稳定性和准确性。
68、本发明的有益效果在于：首先，通过联邦学习的应用，实现了各卫星节点高效的模型训练，显著提高了训练的效率和准确性，同时减少了数据传输需求，降低了延迟。其次，该方法通过在每个卫星节点处理数据，并共享软标签而非整个模型信息，显著降低了计算和通信需求。此外，该方法还强化了数据隐私和安全性，由于数据在本地节点处理，有效保护了数据隐私。最后，通过结合全局与局部优化，联邦蒸馏使得模型在整体上更加健壮，同时针对特定的局部环境进行了优化。综合来看，这种方法不仅提升了处理效率和准确性，还在保护数据隐私和适应动态网络环境方面表现出色。
1.一种基于联邦学习的卫星网络入侵检测模型训练方法，其特征在于：
2.根据权利要求1所述的模型部署方法，其特征在于：
3.根据权利要求2所述的本地模型初始化，其特征在于：
4.根据权利要求1所述的双向知识蒸馏训练方法，其特征在于：
