本发明属于云计算系统数据中心节能优化，具体为一种基于强化学习的数据中心资源休眠及调度方法和系统。
背景技术：
1、随着信息技术的飞速发展，数据中心作为支撑云计算、大数据等应用的关键基础设施，其资源管理效率成为了一个备受关注的问题。数据中心的能源消耗在不断增长，而有效的资源调度方法对于提高能源利用效率至关重要。因此，需要提出一种数据中心资源休眠调度方法，优化数据中心资源的利用，降低能源消耗。
2、现有的数据中心资源调度方法往往局限于静态资源分配，无法适应动态工作负载的变化。传统方法通常基于启发式规则，缺乏对系统动态性的适应性。因此，需要一种能够实时调整资源分配的方法，以更好地适应数据中心的动态环境。
技术实现思路
1、为了解决上述问题，本发明提供了一种基于强化学习的数据中心资源休眠及调度方法和系统，能够满足够根据数据中心的实际情况动态调整资源的分配，最大程度地提高能源利用效率，降低能源消耗。
2、一种基于强化学习的数据中心资源休眠及调度方法，包括以下步骤：
3、s1、收集仿真模型所需相关参数，建立数据中心机房仿真模型，确定研究对象的智能体和环境；
4、s2、基于实际数据中心机房情况，建立马尔可夫决策过程模型，通过经验确定其参数；
5、s3、基于s2构建的马尔可夫决策过程模型，结合仿真环境对deep mahhqn网络进行训练，更新deep mahhqn网络中的参数，形成初步的资源休眠调度策略；
6、s4、将s3训练得到的初步的资源休眠调度策略部署到实际数据中心，指导数据中心各服务器智能体对数据中心服务器开关机以及功率管理进行调度决策，并与实际环境进行交互对调度策略进行持续更新优化，直到训练效果达到预期仿真结果。
7、进一步的，步骤s1包括以下步骤：
8、s101、根据实际数据中心机房情况收集所需数据；
9、s102、根据s101中所收集的数据使用6sigma仿真器建立数据中心机房仿真模型，确定强化学习算法中的智能体和环境。
10、进一步的，步骤s2包括以下步骤：
11、s201、建立马尔可夫决策过程状态空间模型，整体的状态空间由各个智能体观测到的状态空间组成；
12、s202、建立马尔可夫决策过程动作空间模型，整体的动作空间由各个智能体的动作组成；
13、s203、建立马尔可夫决策过程奖励函数模型。
14、进一步的，步骤s203中，马尔可夫决策过程奖励函数模型表达式为：
15、
16、式中，rt是t时刻各智能体的奖励取值，指的是智能体i在时刻t通过执行动作at所获得的奖励，ct是时刻t的实时电价，pit是时刻t服务器i的功耗，λ1是温度惩罚系数，λ2是服务质量惩罚系数，λ3是业务负载处理惩罚系数；此外，vt,it是服务器i在时刻t超出其热舒适范围的绝对值，vd,it是服务器i在时刻t的平均任务响应时间超出服务质量约定上限的值，vwt是时刻t未被处理的任务量。
17、进一步的，步骤s3包括以下步骤：
18、s301、初始化deep mahhqn网络中所有高层局部价值函数网络的参数以及其对应的目标网络参数；初始化高层全局价值函数网络的参数和对应目标网络参数；初始化低层策略函数网络参数低层价值函数网络参数其对应目标网络参数；初始化经验回放池；
19、s302、初始化全局状态；
20、s303、根据各服务器的智能体执行动作，更新环境全局状态；
21、s304、判断经验回放池数组是否足够：若足够，则执行步骤s305，若不够则执行步骤s308；
22、s305、从经验回放池取出若干经验数组；
23、s306、使用经验数组训练更新高层网络；
24、s307、使用经验数组训练更新低层网络参数；
25、s308、根据当前状态中的时刻值判断一次训练是否结束，若结束，则执行步骤s309，否则，跳转至步骤s301；
26、s309、根据当前策略输出效益判断是否应该结束训练：若应该，则执行s4，否则则跳转至步骤s302。
27、进一步的，步骤s303包括以下步骤：
28、s3031、每个服务器的智能体i根据当前观测oit通过ε-greedy策略选择离散动作kit，服务器执行离散动作决定是否开机，选择的离散动作kit由下式计算得到：
29、
30、其中，ε表示一个非常小的正数，qi为高层局部价值函数，ωih为高层局部价值函数qi(ωih)网络的参数；
31、s3032、将当前观测到的状态oit和离散动作kit打包成并输入到每个智能体i的低层策略网络，得到连续动作服务器执行连续动作决定其分配任务工作量；
32、s3033、根据s2中的奖励函数模型计算获得当前时刻奖励rt，全局状态更新为st+1；将五元组存入经验回放池，其中，st为当前时刻全局状态，为时刻t所有智能体离散动作的集合，χt为时刻t所有智能体连续动作的集合。
33、进一步的，步骤s306包括以下步骤：
34、s3061、将所有连续动作联合和当前状态一同输入到超网络中生成混合网络的参数即各局部函数的权重，将各智能体所观测到的状态和动作输入至智能体高层局部价值网络得到各智能体高层局部价值；
35、s3062、将各高层局部价值函数输入至混合网络的价值网络，输出高层全局价值函数，得到输出值高层价值；
36、s3063、使用混合网络的目标网络做时间差分预测，得到td目标；
37、s3064、计算高层网络的时序差分误差σt；
38、s3065、由td误差更新高层局部价值网络、混合网络的价值和目标网络的参数，如下式：
39、
40、其中，ωmix,new为混合价值网络更新后的参数，ωmix,now为混合价值网络更新前的参数，为混合目标网络更新后的参数，为混合目标网络更新前的参数，ωmix为高层全局价值函数网络的参数，st为当前时刻全局状态，为时刻t所有智能体离散动作的集合，χt为时刻t所有智能体连续动作的集合；ωhi,new是智能体i的高层局部价值网络在更新后的参数，ωih是高层局部价值函数qi(ωih)网络的参数，是智能体i的高层目标网络在更新后的参数，ωhi,now是智能体i的高层局部价值网络在更新前的参数，是智能体i的高层目标网络在更新前的参数，ζ为高层价值网络的学习率；τ为目标网络的更新率。
41、进一步的，步骤s307包括以下步骤：
42、s3071、将所有智能体所执行的连续动作一起输入至各个智能体的低层价值网络，使用低层价值网络做出q值预测如下：
43、
44、其中，是低层价值网络，ql,ti是时刻t智能体i的低层网络预测q值，st为当前时刻全局状态，为时刻t所有智能体离散动作的集合，χt为时刻t所有智能体连续动作的集合；为当前时刻的低层价值网络参数；
45、s3072、将动作集合输入至各个智能体的目标网络做出td预测如下：
46、
47、其中，yl,ti为时刻t智能体i的低层网络td目标值，rt是t时刻各智能体的奖励取值，γ是折扣因子，st+1为更新后的全局状态，为当前时刻的低层目标网络参数；
48、s3073、计算ql,ti和yl,ti之间的低层网络td误差；
49、s3074、利用下式更新低层网络的价值网络和目标网络参数：
50、
51、其中，为智能体i更新后的低层价值网络参数，为智能体i更新前的低层价值网络参数，ωil是低层价值函数网络参数ωil，为智能体i更新后的低层目标网络参数，为智能体i更新前的低层目标网络参数，α为低层价值网络的学习率，σt为高层网络的时序差分误差，τ为目标网络的学习率；
52、s3075、基于更新后的低层网络的价值网络和目标网络参数，智能体i对其策略网络μi(θi)进行参数更新，表达式如下：
53、
54、其中，β为策略网络更新的学习率，θi,now为智能体i策略网络当前的参数，θi为智能体i策略网络的参数，为当前观测到的状态oit和离散动作kit所构成的新状态，为连续动作，θi,new为更新后策略网络的参数。
55、进一步的，步骤s4包括以下步骤：
56、s401、将仿真环境训练学习到的服务器初步的资源休眠调度策略部署到实际数据中心，利用该初步的资源休眠调度策略指导各服务器根据所观测实际环境状态执行动作；
57、s402、针对初步的资源休眠调度策略，参照s3的训练步骤对各服务器智能体进行持续训练，直至输出效益达到预期效果；
58、s403、根据训练完成的策略网络和价值网络执行离散动作和连续动作，控制各服务器功率控制模块和工作负载分配模块对服务器进行休眠以及调度操作。
59、种基于多智能体强化学习的数据中心资源休眠调度系统，包括
60、信息感知系统，用于收集仿真模型所需相关参数；
61、仿真器，用于根据仿真模型所需相关参数建立数据中心机房仿真模型，确定研究对象的智能体和环境；
62、感知控制模块，用于基于实际数据中心机房情况，建立马尔可夫决策过程模型，通过经验确定其参数；基于s2构建的马尔可夫决策过程模型，结合仿真环境对deep mahhqn网络进行训练，更新deep mahhqn网络中的参数，形成初步的资源休眠调度策略；
63、实际部署模块，用于基于初步的资源休眠调度策略部署指导数据中心各服务器智能体对数据中心服务器开关机以及功率管理进行调度决策，并与实际环境进行交互对调度策略进行持续更新优化，直到训练效果达到预期仿真结果。
64、现有技术相比，本发明至少具有以下有益的技术效果：
65、本发明提供的方法可以对数据中心时空耦合特性进行充分的动态感知。在数据中心资源休眠调度中，将冷量流、任务流和能量流引入强化学习的马尔可夫决策过程(mdp,markov decision process)模型，使得算法能够动态感知环境-能耗-业务的时空耦合特性。这意味着智能体可以实时地对环境的变化做出响应，不仅考虑当前的状态，还能考虑状态随时间和空间的演变。通过引入这些因素，算法更能够适应数据中心中复杂和动态的运行条件，提高决策的准确性和适应性。
66、进一步的，通过deep mahhqn这一多智能体强化学习，可以实现计算资源与运行环境的交互。多智能体强化学习的方法能够实现服务器与环境的实时交互，避免了对复杂机理的建模和高先验知识的需求。每个服务器作为一个智能体，通过与环境的不断交互来学习最优的行为策略。这种实时性的交互有助于在实际运行中适应不断变化的工作负荷和环境条件，提高了系统的灵活性和性能。同时，多智能体之间的协同学习使得整个系统能够从分布式的信息中学到更全局的知识，进一步提高了决策的智能性和协调性。
67、进一步的，本发明提出了一种分层处理的协同调度方法，通过采用离散-连续混合动作空间的分层处理方法，实现了服务器开关机与工作负荷分配的协同调度。高层网络负责处理离散动作，即服务器的开关机状态，而低层网络则处理与所选离散动作相关的连续参数，如功率水平。这种分层处理有效减少了计算复杂性，使得算法在实时决策中更为高效。此外，这种协同调度确保了服务器的开关机状态与工作负荷的分配之间的一致性，优化了整个数据中心的资源利用率，同时满足各种约束。
68、进一步的，本方法能实现经济型、节能性、绿色性与设备稳定性的综合效益提升。算法考虑了设备热舒适约束、qos约束、业务约束以及运行成本，能够帮助数据中心在保证服务质量的同时实现降本增效，提高环境友好性。
69、综上所述，采用deep mahhqn算法进行数据中心资源休眠调度带来了多方面的优势。首先，通过引入冷量流、任务流和能量流到mdp模型中，实现了对时空耦合特性的动态感知，使算法更具适应性和准确性。其次，多智能体强化学习实现了服务器与环境的实时交互，避免了对机理的复杂建模和高先验知识的依赖，提高了系统的灵活性和性能。此外，通过分层处理的协同调度，有效降低了计算复杂性，使算法在实时决策中更为高效。最重要的是，考虑设备热舒适约束、qos约束、业务约束以及运行成本等因素，优化的资源休眠调度不仅提高了数据中心的环境友好性，还实现了成本效益和可持续发展。
1.一种基于强化学习的数据中心资源休眠及调度方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于强化学习的数据中心资源休眠及调度方法，其特征在于，所述步骤s1包括以下步骤：
3.根据权利要求1所述的一种基于强化学习的数据中心资源休眠及调度方法，其特征在于，所述步骤s2包括以下步骤：
4.根据权利要求3所述的一种基于强化学习的数据中心资源休眠及调度方法，其特征在于，所述步骤s203中，马尔可夫决策过程奖励函数模型表达式为：
5.根据权利要求1所述的一种基于强化学习的数据中心资源休眠及调度方法，其特征在于，所述步骤s3包括以下步骤：
6.根据权利要求5所述的一种基于强化学习的数据中心资源休眠及调度方法，其特征在于，所述步骤s303包括以下步骤：
7.根据权利要求5所述的一种基于强化学习的数据中心资源休眠及调度方法，其特征在于，所述步骤s306包括以下步骤：
8.根据权利要求5所述的一种基于强化学习的数据中心资源休眠及调度方法，其特征在于，所述s307包括以下步骤：
9.根据权利要求1所述的一种基于强化学习的数据中心资源休眠及调度方法，其特征在于，所述步骤s4包括以下步骤：
10.一种基于多智能体强化学习的数据中心资源休眠调度系统，其特征在于，包括
