本发明属于6g通信，涉及一种低轨卫星场景下的多优先级虚拟网络功能迁移方法。
背景技术：
1、近年来，随着互联网和信息技术的高速发展，各种移动用户设备数量呈现爆炸式的增加，用户的业务需求也更加多元化，网络运营商面临着海量数据需求和多样化的新型网络业务需求挑战。传统网络由于网络功能的绑定和特殊设备的存在，难以满足网络业务的灵活性要求。为解决这一问题，网络功能虚拟化(networkfunctionvirtualization,nfv)应运而生。在nfv中，网络功能被虚拟化为软件，以虚拟网络功能(virtualnetworkfunction,vnf)实例的形式在通用服务器上运行，为网络运营商带来了灵活性。一组vnf按照严格的顺序连接在一起，形成服务功能链(servicefunctionchain,sfc)，为启用nfv的网络提供指定的服务。卫星是时刻处于高速移动状态中的，星间链路的间歇性和不稳定性使得leo卫星网络中的路由比地面网络中的路由更加棘手，再加上leo卫星节点资源的紧缺和sfc资源需求的动态变化，vnf的迁移将会变得更加的复杂。
2、现有大量工作仅将时延作为约束条件。然而，6g移动通信系统新增业务应用场景，如全息通信和沉浸式云扩展现实等对时延提出了更高的要求。此外，现有大量工作忽略了不同类型vnf时延敏感程度存在差异的问题，导致网络性能和用户体验下降。
技术实现思路
1、有鉴于此，本发明的目的在于提供一种低轨卫星场景下的多优先级虚拟网络功能迁移方法
2、为达到上述目的，本发明提供如下技术方案：
3、一种低轨卫星场景下的多优先级虚拟网络功能迁移方法，包括以下步骤：
4、s1：在leo卫星网络中，考虑不同类型vnf的时延敏感程度存在差异的问题，对各类vnf进行优先级划分，引入非抢占优先的排队模型；
5、s2：在满足物理层计算、存储和带宽资源约束的情况下，考虑leo卫星的动态性和星间链路的间歇性，建立leo卫星场景下的多优先级vnf时延优化问题，并将优化问题转化为mdp模型；
6、s3：通过基于深度强化学习的vnf分级迁移算法求解mdp，首先对vnf的资源需求进行预测，然后通过分级迁移机制提前对可能会发生资源过载的节点上的vnf进行分级迁移，最终得到近似最优的迁移策略。
7、进一步，所述的leo卫星网络中，每颗leo卫星都被视作一个底层物理节点，在满足计算、存储和带宽资源约束的条件下部署任意多个vnf；每颗leo卫星的星间链路都被视为物理链路，包括2条轨内链路和2条轨间链路。
8、进一步，所述非抢占优先排队模型包括：
9、当服务窗正忙时，低优先级业务总是按照先到先服务的原则排在队尾，高优先级业务总是插在低优先级业务的前面；非抢占优先排队模型能够满足不同优先级vnf的时延需求，并且不中断正在被处理的业务。
10、进一步，vnf时延包括排队时延、额外时延、迁移时延、处理时延、传输时延和传播时延；
11、所述排队时延为：
12、
13、其中，将vnf按照时延敏感程度分为j个等级(j＝1,2,…,d)，j数值越小优先级越高；在t时隙，到达率为λj(t)，服务率为μj(t)，线路利用率为ρj(t)＝λj(t)/μj(t)，方差为所有业务都服从泊松到达；
14、所述额外时延为：
15、
16、其中，由于星间链路的间歇性，假设在t时隙初链路exy会断开，额外时延考虑同属一条sfcfi的流量exy断开前能否到达节点y，即流量到达节点y的总时延是否大于exy的断开时延当时，表示存在额外时延，否则为0；
17、所述迁移时延为：
18、
19、其中，sfcfi的迁移时延需考虑同属一条sfcfi且顺序在待迁移vnfu之前的其他vnf的总时延是否大于vnfu的迁移时间当时，表示存在迁移时延，否则为0；
20、所述处理时延为：
21、
22、其中，s(t)为传输数据量，cn(t)为节点的计算能力，为cpu资源利用率；
23、所述传输时延：
24、
25、其中，为跳数；
26、所述传播时延为：
27、
28、其中，为星间链路的物理长度，c为光速；
29、总时延表示为：
30、
31、进一步，在步骤s2中，所述mdp模型用一个四元组(s,a,p,r)进行描述，包括状态空间、动作空间、状态转移概率和奖励函数：
32、状态空间s：s(t)＝{n(t),e(t),c(t),m(t),b(t)}，其中n(t)表示物理节点的状态空间，e(t)表示物理链路的状态空间；c(t)、m(t)和b(t)分别表示vnf的计算、存储和虚拟链路带宽资源需求状态空间；
33、动作空间a：a(t)＝{x(t),y(t),m(t)}，其中x(t)表示vnf部署的动作空间，y(t)表示虚拟链路映射的动作空间，m(t)表示vnf迁移的动作空间；
34、状态转移概率p：p(s(t+1)|s(t),a(t))表示在状态s(t)执行动作a(t)，转移到状态s(t+1)的概率；
35、奖励函数r：即时奖励r(t)表示为优化目标的相反数：
36、
37、其中所述为第i条sfc的总时延；
38、环境在t时隙处于状态s(t)，根据策略π选择动作a(t)；通过值函数qπ(s(t),a(t))来评判动作a(t)的好坏：
39、qπ(s(t),a(t))＝e[r(t)+γqπ(s(t+1),a(t+1))]
40、其中所述γ∈[0,1]为折扣因子，表示未来奖励对当前决策的影响程度；
41、vnf最优迁移策略π*表示为：
42、
43、进一步，步骤s3所述通过基于深度强化学习的vnf分级迁移算法求解mdp，具体包括以下步骤：
44、s31：首先对智能体进行训练，对vnf的资源需求进行预测；采用行动者－评判家框架，由六个神经网络组成，包括两个actor网络和四个critic网络；
45、s32：针对不同类型vnf时延敏感程度存在差异的问题，设计一种分级迁移机制，根据预测结果提前分级迁移资源过载节点上的vnf，迁移收益表示为：
46、g＝αδd1-βδd2
47、其中，α为高优先级业务的时延敏感权重，β为低优先级业务的时延敏感权重，迁移低优先级vnf可降低同一节点上高优先级业务时延d1，同时低优先级业务时延变化d2。
48、进一步，所述vnf分级迁移算法包括以下步骤：
49、步骤1)：令e＝0，初始化环境参数，包括迭代次数e，策略更新频率d，折扣因子γ，软更新率τ，经验回放池b和学习率lr；
50、步骤2)：获取当前状态s；
51、步骤3)：选择动作a，并添加噪声；
52、
53、其中πφ(s)为actor目标网络中获得的动作；ε为噪声；
54、步骤4)：检查当前vnf迁移策略是否满足资源和时延约束条件，如果不满足则返回步骤3)，如果满足则执行步骤5)；
55、步骤5)：对vnf进行迁移，并更新网络参数；
56、步骤6)：经过多次迭代，检查是否满足收敛条件，如果不满足则返回步骤2)，如果满足则执行步骤7)；
57、步骤7)：检查算法迭代次数是否达到最大迭代次数e，如果未达到则令e＝e+1，并返回步骤1)，如果达到，则算法结束。
58、本发明的有益效果在于：本发明基于leo卫星网络，研究面向时延优化的多优先级vnf迁移问题。本发明方法能够很好地适应sfc资源需求的动态变化以及低轨卫星之间的相对移动，有效地降低了网络总时延，尤其是高优先级业务的总时延，提高了网络性能和用户体验。
59、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
1.一种低轨卫星场景下的多优先级虚拟网络功能迁移方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的低轨卫星场景下的多优先级虚拟网络功能迁移方法，其特征在于，所述的leo卫星网络中，每颗leo卫星都被视作一个底层物理节点，在满足计算、存储和带宽资源约束的条件下部署任意多个vnf；每颗leo卫星的星间链路都被视为物理链路，包括2条轨内链路和2条轨间链路。
3.根据权利要求1所述的低轨卫星场景下的多优先级虚拟网络功能迁移方法，其特征在于，所述非抢占优先排队模型包括：
4.根据权利要求1所述的低轨卫星场景下的多优先级虚拟网络功能迁移方法，其特征在于，vnf时延包括排队时延、额外时延、迁移时延、处理时延、传输时延和传播时延；
5.根据权利要求1所述的低轨卫星场景下的多优先级虚拟网络功能迁移方法，其特征在于，在步骤s2中，所述mdp模型用一个四元组(s,a,p,r)进行描述，包括状态空间、动作空间、状态转移概率和奖励函数：
6.根据权利要求1所述的低轨卫星场景下的多优先级虚拟网络功能迁移方法，其特征在于，步骤s3所述通过基于深度强化学习的vnf分级迁移算法求解mdp，具体包括以下步骤：
7.根据权利要求1所述的低轨卫星场景下的多优先级虚拟网络功能迁移方法，其特征在于，所述vnf分级迁移算法包括以下步骤：
