本技术涉及卫星网络通信领域，尤其涉及一种模型训练方法、卫星网络路由确定方法、装置及设备。
背景技术：
1、物联网用户终端节点数的快速增长对传统地面通信网络提出了巨大的挑战，而天地互联通信网通过结合卫星通信和地面通信网络，提供了更广泛的覆盖和更高效的通信能力。低轨通信卫星(low earth orbits，leo)，以覆盖面积广、传输时延小、路径损耗低等特点，成为最具前景的卫星通信载体。因此，为了获取高速稳定的卫星通信服务，为leo通信提供合适的卫星网络路由确定方法至关重要。
2、现有技术中，卫星网络的路由确定方法通常根据确定性链路参数，利用路由确定方法，提前计算和确定最佳路径。具体过程为：首先获取所有leo的链路参数以及其变化规律；然后，基于其变化规律，定期更新所有leo的链路参数，并构建未来时间段内的各leo的路由信息；之后，根据所有leo的路由信息计算出数据包(也可称为待传输数据包)从源节点(也可称为第一卫星节点标识)到目标节点(也可称为第二卫星节点标识)的多条候选路径；最后，根据计算出的最佳路径，生成未来时间段内的数据传输路径表发送至各个卫星节点，以进行通信服务。
3、然而，现有技术中卫星网络的路由决策方法存在链路参数信息滞后，难以保证数据信息在卫星网络中的高效传输。
技术实现思路
1、本技术提供一种模型训练方法、卫星网络路由确定方法、装置及设备，用以解决现有技术中卫星网络的路由决策方法存在链路参数信息滞后，难以保证数据信息在卫星网络中的高效传输的问题。
2、第一方面，本技术提供一种模型训练方法，包括：
3、针对任一样本卫星节点，根据所述样本卫星节点所在的样本链路的链路参数，以及所述链路参数对应的预设模糊隶属度函数，确定所述样本卫星节点的第一样本链路评价矩阵，所述预设模糊隶属度函数用于计算所述样本链路针对不同链路参数值区间的隶属度，所述链路评价矩阵包括所述不同链路参数值区间的隶属度，所述样本卫星节点所在的样本链路用于传输样本数据包；
4、根据所述第一样本链路评价矩阵以及每个相邻样本卫星节点对应的第二样本链路评价矩阵，建立所述样本卫星节点对应的状态空间矩阵和动作矩阵，所述动作矩阵包括每个相邻样本卫星节点的标识，所述状态空间矩阵包括所述第一样本链路评价矩阵、每个相邻样本卫星节点对应的第二样本链路评价矩阵、所述样本数据包的起始卫星节点标识和终止卫星节点标识；
5、根据每个相邻样本卫星节点对应的第二样本链路评价矩阵，计算每个相邻样本卫星节点的奖励值；
6、根据每个相邻样本卫星节点的奖励值、所述样本卫星节点对应的状态空间矩阵和动作矩阵进行模型训练，获取卫星网络路由确定模型。
7、可选的，所述链路参数包括以下至少一项：传输时延、丢包率和端口负载。
8、可选的，所述根据每个相邻样本卫星节点对应的第二样本链路评价矩阵，计算每个相邻样本卫星节点的奖励值，包括：
9、针对每个相邻样本卫星节点，根据所述第二样本链路评价矩阵中包含的多个隶属度，计算所述相邻样本卫星节点对应的第二样本链路的链路质量得分；
10、根据所述链路质量得分、每个隶属度对应的预设权重、所述相邻样本卫星节点与所述样本卫星节点的距离，计算所述相邻样本卫星节点的奖励值。
11、可选的，所述传输时延对应的预设模糊隶属度函数的函数类型为指数型，所述丢包率对应的预设模糊隶属度函数的函数类型为抛物型，所述端口负载对应的预设模糊隶属度函数的函数类型为三角型。
12、第二方面，本技术提供一种卫星网络路由确定方法，包括：
13、针对每个卫星节点，根据所述卫星节点所在链路的链路参数，以及所述链路参数对应的预设模糊隶属度函数，确定所述卫星节点的第一链路评价矩阵，所述预设模糊隶属度函数用于计算所述链路针对不同链路参数值区间的隶属度，所述链路评价矩阵包括所述不同链路参数值区间的隶属度，所述卫星节点所在的链路用于传输测试数据包；
14、在将待传输数据包由第一卫星节点向第二卫星节点传输的过程中，针对任一中间卫星节点，获取所述中间卫星节点的第二链路评价矩阵和每个相邻卫星节点的第三链路评价矩阵；
15、根据所述第二链路评价矩阵以及每个相邻卫星节点对应的第三链路评价矩阵，建立所述中间卫星节点对应的状态空间矩阵，所述状态空间矩阵包括所述第二链路评价矩阵、每个相邻卫星节点的第三链路评价矩阵、第一卫星节点标识和第二卫星节点标识；
16、将所述状态空间矩阵输入卫星网络路由确定模型，获取目标卫星节点标识，所述卫星网络路由确定模型是通过如上述第一方面以及第一方面各种可能的实现方式所述的模型训练方法得到的，目标卫星节点属于相邻卫星节点。
17、可选的，在所述获取所述中间卫星节点的第二链路评价矩阵和每个相邻卫星节点的第三链路评价矩阵之前，所述方法还包括：
18、确定与所述中间卫星节点相邻的初始相邻卫星节点；
19、筛除所述初始相邻卫星节点中已传输过所述待传输数据包的初始相邻卫星节点，将筛除留下的初始相邻卫星节点确定为相邻卫星节点。
20、第三方面，本技术提供一种模型训练装置，包括：
21、确定模块，用于针对任一样本卫星节点，根据所述样本卫星节点所在的样本链路的链路参数，以及所述链路参数对应的预设模糊隶属度函数，确定所述样本卫星节点的第一样本链路评价矩阵，所述预设模糊隶属度函数用于计算所述样本链路针对不同链路参数值区间的隶属度，所述链路评价矩阵包括所述不同链路参数值区间的隶属度，所述样本卫星节点所在的样本链路用于传输样本数据包；
22、建立模块，用于根据所述第一样本链路评价矩阵以及每个相邻样本卫星节点对应的第二样本链路评价矩阵，建立所述样本卫星节点对应的状态空间矩阵和动作矩阵，所述动作矩阵包括每个相邻样本卫星节点的标识，所述状态空间矩阵包括所述第一样本链路评价矩阵、每个相邻样本卫星节点对应的第二样本链路评价矩阵、所述样本数据包的起始卫星节点标识和终止卫星节点标识；
23、计算模块，用于根据每个相邻样本卫星节点对应的第二样本链路评价矩阵，计算每个相邻样本卫星节点的奖励值；
24、训练模块，用于根据每个相邻样本卫星节点的奖励值、所述样本卫星节点对应的状态空间矩阵和动作矩阵进行模型训练，获取卫星网络路由确定模型。
25、可选的，所述确定模块，具体用于：
26、所述链路参数包括以下至少一项：传输时延、丢包率和端口负载。
27、可选的，所述计算模块，具体用于：
28、针对每个相邻样本卫星节点，根据所述第二样本链路评价矩阵中包含的多个隶属度，计算所述相邻样本卫星节点对应的第二样本链路的链路质量得分；
29、根据所述链路质量得分、每个隶属度对应的预设权重、所述相邻样本卫星节点与所述样本卫星节点的距离，计算所述相邻样本卫星节点的奖励值。
30、可选的，所述确定模块，具体用于：
31、所述传输时延对应的预设模糊隶属度函数的函数类型为指数型，所述丢包率对应的预设模糊隶属度函数的函数类型为抛物型，所述端口负载对应的预设模糊隶属度函数的函数类型为三角型。
32、第四方面，本技术提供一种卫星网络路由确定装置，包括：
33、确定模块，用于针对每个卫星节点，根据所述卫星节点所在链路的链路参数，以及所述链路参数对应的预设模糊隶属度函数，确定所述卫星节点的第一链路评价矩阵，所述预设模糊隶属度函数用于计算所述链路针对不同链路参数值区间的隶属度，所述链路评价矩阵包括所述不同链路参数值区间的隶属度，所述卫星节点所在的链路用于传输测试数据包；
34、获取模块，用于针对每个卫星节点，根据所述卫星节点所在链路的链路参数，以及所述链路参数对应的预设模糊隶属度函数，确定所述卫星节点的第一链路评价矩阵，所述预设模糊隶属度函数用于计算所述链路针对不同链路参数值区间的隶属度，所述链路评价矩阵包括所述不同链路参数值区间的隶属度，所述卫星节点所在的链路用于传输测试数据包；
35、建立模块，用于根据所述第二链路评价矩阵以及每个相邻卫星节点对应的第三链路评价矩阵，建立所述中间卫星节点对应的状态空间矩阵，所述状态空间矩阵包括所述第二链路评价矩阵、每个相邻卫星节点的第三链路评价矩阵、第一卫星节点标识和第二卫星节点标识；
36、生成模块，用于将所述状态空间矩阵输入卫星网络路由确定模型，获取目标卫星节点标识，所述卫星网络路由确定模型是通过上述第一方面以及第一方面各种可能的实现方式所述的模型训练方法得到的，目标卫星节点属于相邻卫星节点。
37、可选的，所述获取模块，还用于，在所述获取所述中间卫星节点的第二链路评价矩阵和每个相邻卫星节点的第三链路评价矩阵之前，
38、确定与所述中间卫星节点相邻的初始相邻卫星节点；
39、筛除所述初始相邻卫星节点中已传输过所述待传输数据包的初始相邻卫星节点，将筛除留下的初始相邻卫星节点确定为相邻卫星节点。
40、第五方面，本技术提供一种电子设备，包括：处理器，以及与处理器通信连接的存储器；
41、存储器存储计算机执行指令；
42、处理器执行存储器存储的计算机执行指令，以实现如上述第一方面以及第一方面各种可能的实现方式所述的模型训练方法，或者，以实现如上述第二方面以及第二方面各种可能的实现方式所述的卫星网络路由确定方法。
43、第六方面，本技术提供了一种计算机可读存储介质，包括计算机执行指令，当处理器执行计算机执行指令时，执行如上述第一方面以及第一方面各种可能的实现方式所述的模型训练方法，或者，执行如上述第二方面以及第二方面各种可能的实现方式所述的卫星网络路由确定方法。
44、本技术提供的模型训练方法、卫星网络路由确定方法、装置及设备，通过针对任一样本卫星节点，根据样本卫星节点所在的样本链路的链路参数，以及链路参数对应的预设模糊隶属度函数，确定样本卫星节点的第一样本链路评价矩阵。之后，根据第一样本链路评价矩阵以及每个相邻样本卫星节点对应的第二样本链路评价矩阵，建立样本卫星节点对应的状态空间矩阵和动作矩阵，再根据每个相邻样本卫星节点对应的第二样本链路评价矩阵，计算每个相邻样本卫星节点的奖励值。然后，根据每个相邻样本卫星节点的奖励值、样本卫星节点对应的状态空间矩阵和动作矩阵进行模型训练，获取卫星网络路由确定模型。最后，建立中间卫星节点对应的状态空间矩阵并输入至卫星网络路由确定模型，获取目标卫星节点标识。该方法利用了卫星的链路参数具有动态变化，并且存在不确定性的特点，通过在相邻卫星节点之间互相传输样本数据包，并为不同的链路参数预设对应的模糊隶属度函数，来反映卫星网络的实际情况作为数据基础，之后，对任一的卫星节点根据模糊隶属度函数建立对应的状态空间矩阵、动作矩阵以及计算对应的奖励值，以此来对模型进行训练，得到卫星网络路由确定模型。当需要确定待传输数据包的下一位卫星节点(也可称为目标卫星节点标识)时，只需要将待传输数据包当前所在卫星节点的状态空间矩阵输入至卫星网络路由确定模型即可计算出最佳的目标卫星节点标识，实现了在确保卫星节点链路参数的实时更新的同时，提高了待传输数据包在卫星网络路由中的传输效率。
1.一种模型训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述链路参数包括以下至少一项：传输时延、丢包率和端口负载。
3.根据权利要求1或2所述的方法，其特征在于，所述根据每个相邻样本卫星节点对应的第二样本链路评价矩阵，计算每个相邻样本卫星节点的奖励值，包括：
4.根据权利要求2所述的方法，其特征在于，所述传输时延对应的预设模糊隶属度函数的函数类型为指数型，所述丢包率对应的预设模糊隶属度函数的函数类型为抛物型，所述端口负载对应的预设模糊隶属度函数的函数类型为三角型。
5.一种卫星网络路由确定方法，其特征在于，包括：
6.根据权利要求5所述的方法，其特征在于，在所述获取所述中间卫星节点的第二链路评价矩阵和每个相邻卫星节点的第三链路评价矩阵之前，所述方法还包括：
7.一种模型训练装置，其特征在于，包括：
8.一种卫星网络路由确定装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至6任一项所述的方法。
