本发明设计边缘服务器领域，尤其涉及涉及到一种边缘计算场景下基于层次化时空transformer的边缘负载细粒度预测方法。
背景技术：
1、在云计算架构中，中央云服务器远离用户终端，难以满足用户对传输带宽与数据处理实时性的要求，这给物联网发展带来了巨大挑战。一种新型的网络架构——边缘计算(edge comput i ng)应运而生。边缘计算是一种不同于传统的云计算的新型计算范式，边缘计算是物联网的热门技术应用,其核心概念主要表现为在网络边缘,即靠近产生数据的终端设备的边缘节点,对数据进行分析处理，旨在拉近终端用户与计算存储资源之间的距离，为数据处理、服务提供和资源分配带来前所未有的收益。由于边缘服务器部署在终端用户附近,可以将用户感兴趣的内容在边缘服务器中缓存和处理，降低从中央云服务器中下载内容的概率和时间。
2、通常而言，数据中心以作业为抽象单位执行计算任务。按照计算任务的不同可将作业分为在线作业和离线作业。在线作业通常是以服务形态来处理用户请求并执行计算任务，如网页搜索服务、在线游戏服务、电商交易服务等，具备较高的实时性和稳定性需求。
3、虽然边缘计算在缓解回程链路带宽压力与降低数据传输时延上优势显著，提高了网络数据处理效率，但是边缘节点存储资源、计算资源紧缺。所以如何合理且高效利用有限资源一直是边缘计算领域的研究热点。由于用户的使用具有移动性和时间周期性，在大量用户同一时间访问同一节点的情况中，也即在线任务会出现网络拥塞、带宽压力过大、计算资源超负荷等状况。在线作业与离线作业会竞争共享资源，例如cpu、内存和网络资源等，导致作业之间相互影响彼此的性能,即性能干扰。除此之外，边缘服务器在实际工作中存在以下问题：相比于云计算中心拥有的千到万数量级服务器，边缘计算节点往往只拥有几十个物理服务器。对于cpu利用率来说，云计算中心有47％的虚拟机利用率小于10％，边缘平台上有74％的虚拟机利用率小于10％[1]。也即边缘服务器可以承受的突发负载很低，但往往多数时间又有空闲资源。解决这一问题的关键是预测即将到来的突发负载，流量预测技术对于边缘服务器的实时伸缩来说非常有意义。
4、在边缘服务器在线场景下，存在如下的问题：
5、用户的实时在线需求动态变化。在车联网应用中，随着智能汽车技术的发展，车辆产生了大量的实时数据，例如车辆的位置、速度、车况等信息。这些数据需要实时地上传到边缘计算节点进行处理和分析，以支持诸如智能导航、车辆远程监控等功能。但是，车辆的数量和行驶状态会不断变化，导致对边缘计算节点的实时处理需求也在动态变化。视频流任务也是一个典型的场景。随着在线视频服务的普及，大量用户通过边缘计算节点访问视频内容。在某些时刻，例如热门直播活动或重大赛事直播，大量用户同时访问视频流服务，需要边缘节点实时处理和传输大量视频数据。这时，边缘节点的负载会急剧增加，需要快速调配资源以保证流畅的视频播放体验。
6、云计算领域中有许多负载预测的相关工作，xv等人[2]提出了一种基于监督学习的云计算中心负载预测方法，利用滑动窗口将时序信息转换为监督序列，进而对在线负载做出预测。目前的最前沿的边缘负载预测往往会借鉴交通流量预测的一些思想，zhu等人[3]提出的层次化图卷积网络提供了一种新颖的多道路节点的深度学习预测方式，这种层次化的思想为边缘服务器的负载预测也提供了新思路。yu[4]等人提出的基于时空图卷积网络的交通流量预测模型则引入了不同节点间的时间相似性和空间相似性，这也可以被用于边缘服务器的负载预测。总地来说，负载预测的相关工作主要在云计算中心领域，边缘端的预测工作还不多。
7、[1]m.xu,z.fu,x.ma,l.zhang,y.l i,f.q i an,s.wang,k.
8、l i,j.yang,and x.l i u,“from c l oud to edge:a f i rst l ookat pub li c edge p l atforms,”i n proceed i ngs of the 21st acmi nternet measurementconference,2021,pp.37–53.
9、[2]m.xu,c.song,h.wu,s.s.g i l l,k.ye,and c.xu,“esdnn:deep neura lnetwork based mu l t i var i ate work l oad pred i ct i on i n c l oud computi ng env i ronments,”acm transact i ons on i nternet techno l ogy(toi t),vol.22,no.3,pp.1–24,2022.
10、[3]z.zhu,x.fan,x.chu,and j.bi,“hgcn:a heterogeneous graph convo l uti ona l network-based deep l earn i ng mode l toward co l l ect i ve c l assi f i cat i on,”i n proceed i ngs of the 26th acm s i gkdd i nternat i ona lconference on knowledge d i scovery&data min i ng,2020,pp.1161–1171.
11、[4]b.yu,h.yi n,and z.zhu,“spat i o-tempora l graph convo l ut i ona lnetworks:a deep l earn i ng framework for traff i cforecast i ng,”arxi vprepr i nt arxi v:1709.04875,2017.
技术实现思路
1、为解决上述问题，本发明公开了一种边缘计算场景下基于层次化时空transformer的边缘负载细粒度预测方法本发明主要从层次化信息融合角度考虑边缘计算中的细粒度负载预测问题，充分考虑了虚拟机与虚拟机之间的逻辑关系，服务器与服务器之间的地理位置关系，并借助了transformer模型对目标问题进行预测，从而最大化提高系统预测的准确性。
2、技术方案：为实现上述目的，本发明采用的技术方案为：
3、一种边缘计算场景下基于层次化时空transformer的边缘负载细粒度预测方法，包括以下阶段：
4、a.局部预测阶段：在边缘节点中构建虚拟机负载预测系统。在服务器上直接运行预测系统，将该服务器下的所有虚拟机历史负载数据收集起来，得到多个历史时间序列信息。通过虚拟机之间的逻辑关系获得虚拟机空间图。将空间图和时间序列信息输入到时空transformer中，得到以虚拟机为粒度的未来时间序列负载；
5、b.全局预测阶段：在边缘服务器集群中构建边缘服务器负载预测系统，在云计算中心运行预测系统，将所有边缘服务器的历史负载数据收集起来，得到多个历史时间序列信息。通过边缘服务器之间的地理距离获得边缘服务器空间图。将空间图和时间序列信息输入到时空transformer中，得到以边缘服务器为粒度的未来时间序列负载；
6、c.全局-局部聚合阶段：将全局预测结果和局部预测结果进行自适应的融合，最终得到以虚拟机为粒度融合了全局和局部信息的信息的未来负载。
7、所述阶段a具体包括如下步骤：
8、a1.在边缘节点中构建局部时空预测架构，将虚拟机的历史数据抽象成多个时间序列，时空transformer结构在边缘服务器中直接运行；
9、a2.考虑虚拟机之的计算资源，存储资源，内存资源，构建虚拟机之间的余弦相似度矩阵。将获得的余弦相似度矩阵输入时空transformer；
10、a3.局部时空transformer预测架构，通过多个空间-时间transformer结构堆叠来实现。空间transformer结构通过每次输入某个时间所有虚拟机的负载来获得虚拟机之间的空间预测结果，除此之外加入图卷积网络来并行地做考虑空间关系的预测。时间transformer每次输入的是某个虚拟机的历史时间序列。
11、阶段b具体包括如下步骤：
12、b1.在云计算中心构建全局时空预测架构，将边缘服务器的历史负载数据抽象成多个时间序列，时空transformer结构在云计算中心中直接运行；
13、b2.考虑边缘节点之的地理距离，构造邻接矩阵。将获得的邻接矩阵输入时空transformer；
14、b3.全局时空transformer预测架构，通过多个空间-时间transformer结构堆叠来实现。空间transformer结构通过每次输入某个时间所有边缘服务器的负载来获得服务器之间的空间预测结果，除此之外加入图卷积网络来并行地做考虑空间关系的预测。时间transformer每次输入的是某个边缘服务器的历史时间序列。
15、阶段c具体包括如下步骤：
16、c1.对于某个虚拟机，应该获得局部阶段预测得出的该虚拟机的未来时间序列和全局阶段预测得出的该虚拟机所在的服务器的未来时间序列；
17、c2.在模型训练的迭代中，不断调整虚拟机时间序列和服务器时间序列的参数，融合全局-局部的结果得到最终预测结果。
18、步骤a2/b2具体包括如下步骤：
19、s1.将原始数据通过特征聚合层，对原始的多时间序列进行维度拓展；
20、s2.将拓展后的输入传入空间transformer结构，同时通过残差连接将空间transformer的输入和输出相结合；
21、s3.将空间transformer结构输出和空间transformer结构输入结合，作为时间transformer结构的输入；
22、s4.数据经过空间transformer结构；
23、s5.输入传入时间transformer结构，同时通过残差连接将时间transformer的输入和输出相结合；
24、s6.数据经过时间transformer结构；
25、s7.将时间transformer结构输出和时间transformer结构输入结合，作为时空transformer模块的最终输出。由于transformer结构需要进行堆叠，若当前的模块序号小于k时，s5跳转到s2；
26、s8.得到最终的输出，通过预测层的两个卷积层将输出降维，最终得到预测的多时间序列输出；
27、所述步骤s4具体包括如下步骤：
28、s41.每次输入空间transformer的数据是历史数据在每个时间步的切片xs；
29、s42.xs通过图神经网络获得预测结果xg；
30、s43.xs通过线性层生成qs，ks，vs空间；
31、s44.用qs和ks的点积计算节点间的动态空间依赖关系，得到ss；
32、s45.用ss更新节点特征ms；
33、s46.ms通过前馈网络层获得us；
34、s47.最终输出为us与xg的门控机制下的结合。
35、步骤s6具体包括如下步骤：
36、s61.每次输入空间transformer的数据是历史数据每个节点的切片xt；
37、s62.xt通过线性层生成qt，kt，vt空间；
38、s63.用qt和kt的点积计算节点间的动态空间依赖关系，得到st；
39、s64.用st更新节点特征mt；
40、s65.mt通过前馈网络层获得ut；
41、s66.最终输出为ut。
42、一种考虑时空关系的数据处理与预测系统，包括：
43、空间transformer；
44、时间transformer；
45、全局-局部数据聚合与处理模块；
46、其中，所述空间transformer为经由执行所可执行指令来执行所述的考虑空间关系并输入按照空间关系排列的历史数据的步骤。
47、其中，所述的时间transformer为经由执行所可执行指令来执行所述的考虑时间关系并输入按照时间关系排列的历史数据的步骤。
48、一种数据融合模块设备，用于对全局和局部的信息进行融合，所述程序被执行时实现所述的迭代式聚合。
49、本发明的有益效果：
50、1、本发明是一种在边缘计算场景中考虑服务器之间的相关性与虚拟机之间的相关性的用来预测未来负载的方法。考虑到同个边缘节点中的不同虚拟机存在资源上的相似性，不同边缘服务器节点存在时空上的潮汐性。
51、2、本发明认为虚拟机的负载变化会受到所在服务器波动的影响。本发明应用了层次化预测，不仅在两个维度考虑了负载的影响因素，还将计算复杂度降低了一个指数级别。具体的预测采用了时空transformer模块堆叠的方法，在空间trasnformer中考虑节点之间的相关性，时间transformer中考虑同一个节点的时序前后相关性。
52、3、本发明可以作为一种普适的可泛化的资源预测方法，可以作为响应式弹性伸缩和在离线混部等工作的理论基础。
1.一种边缘计算场景下基于层次化时空transformer的边缘负载细粒度预测方法，其特征在于：包括以下阶段：
2.根据权利要求1所述的一种边缘计算场景下基于层次化时空transformer的边缘负载细粒度预测方法，其特征在于：a局部预测模块具体包括如下步骤：
3.根据权利要求1所述的一种边缘计算场景下基于层次化时空transformer的边缘负载细粒度预测方法，其特征在于：b全局预测模块具体包括如下步骤：
4.根据权利要求1所述的一种边缘计算场景下基于层次化时空transformer的边缘负载细粒度预测方法，其特征在于：c全局-局部聚合模块具体包括如下步骤：
5.根据权利要求2或3所述的种一基于层次化时空transformer的边缘负载细粒度预测方法，其特征在于：步骤a2/b2具体包括如下步骤：
6.根据权利要求5所述的一种基于层次化时空transformer的边缘负载细粒度预测方法，其特征在于：步骤s4具体包括如下步骤：
7.根据权利要求5所述的一种基于层次化时空transformer的边缘负载细粒度预测方法，其特征在于：步骤s6具体包括如下步骤：
8.一种考虑时空关系的数据处理与预测系统，其特征在于，包括：
9.一种数据融合模块设备，用于对全局和局部的信息进行融合，其特征在于，所述程序被执行时实现权利要求4中所述的迭代式聚合。
