本发明涉及任务调度，具体涉及一种基于计算机信息采集的大数据处理装置。
背景技术：
1、计算机信息采集是指通过各种技术手段和工具收集计算机系统、网络或应用程序运行时产生的各种数据和信息。
2、传统装置通常依赖静态的调度策略和手动配置，无法根据实时的网络负载和资源使用情况进行智能调度，这导致资源分配不均匀，可能造成某些节点过载而其他节点空闲；且传统装置的调度和资源管理能力有限，无法有效处理大规模、高复杂度的网络环境，它们可能缺乏足够的数据分析和预测能力，无法应对快速变化的负载需求；并且由于缺乏实时的负载监控和预测能力，传统装置可能导致资源的浪费和性能的下降，不能及时调整资源分配，以适应变化的工作负载；而且缺乏实时的稳定性评估和负载预测，传统装置可能无法及时发现和处理网络中的异常情况和故障，影响系统的稳定性和可靠性。
技术实现思路
1、本发明目的是针对背景技术中存在的问题，提出一种基于计算机信息采集的大数据处理装置。
2、本发明的技术方案：一种基于计算机信息采集的大数据处理装置，包括调度衡量单元、请求调度单元、资源映射单元和使用量预测单元，还包括：
3、信息采集单元，所述信息采集单元用于对目标网络中的多个计算机节点进行网络资源数据采集，以得到所述目标网络的网络资源数据，并将所述目标网络的网络资源数据传输至数据预处理单元；
4、数据预处理单元，所述数据预处理单元对信息采集单元传输的所述目标网络的网络资源数据进行接收，并通过聚类方法对所述目标网络的网络资源数据进行聚类，以将所述目标网络的网络资源数据划分到多个数据聚类，并将所述多个数据聚类传输至负载量计算单元和资源映射单元；
5、负载量计算单元，所述负载量计算单元对数据预处理单元传输的所述多个数据聚类进行接收，并基于所述多个数据聚类构建负载四元组，基于所述负载四元组计算所述目标网络中的多个计算机节点的请求个数，并将所述目标网络中的多个计算机节点的请求个数传输至调度衡量单元。
6、优选的，所述调度衡量单元对负载量计算单元传输的所述目标网络中的多个计算机节点的请求个数进行接收，并基于所述目标网络中的多个计算机节点的请求个数计算所述目标网络的平均负载量，基于所述目标网络的平均负载量计算所述目标网络的负载量标准差，并将所述目标网络的负载量标准差与预设的标准差阈值表进行匹配，以得到所述目标网络的稳定系数，将所述目标网络的稳定系数传输至请求调度单元。
7、优选的，所述资源映射单元对数据预处理单元传输的所述多个数据聚类进行接收，并基于所述多个数据聚类计算所述目标网络中的多个计算机节点的请求任务的执行时间代价，并将所述目标网络中的多个计算机节点的请求任务的执行时间代价传输至请求调度单元。
8、优选的，所述使用量预测单元用于基于所述目标网络中的多个计算节点的历史网络资源数据通过已训练好的负载预测模型对所述目标网络中的多个计算节点的资源使用量进行预测，以得到所述目标网络中的多个计算节点的资源使用量预测值，并将所述目标网络中的多个计算节点的资源使用量预测值传输至请求调度单元。
9、优选的，所述请求调度单元对调度衡量单元传输的所述目标网络的稳定系数、资源映射单元传输的所述目标网络中的多个计算机节点的请求任务的执行时间代价和使用量预测单元传输的所述目标网络中的多个计算节点的资源使用量预测值进行接收，并将所述目标网络的稳定系数与预设的稳定系数阈值进行比对，若大于预设的稳定系数阈值，则不对所述目标网络进行请求调度，否则，则通过请求调度方法对所述目标网络中的多个计算机节点的请求任务进行请求调度。
10、优选的，所述聚类方法，包括以下步骤：
11、a1、计算所述目标网络的网络资源数据的聚类中心，所述聚类中心计算公式如下：
12、
13、其中，xi表示第i个网络资源数据，n表示网络资源数据的总量，cj表示聚类中心，mij表示xi在聚类j中的隶属度，m表示大于1的实数；
14、a2、根据隶属度矩阵计算目标函数，所述目标函数如下：
15、
16、其中，jm表示目标函数，c表示聚类中心的总数量；
17、a3、对隶属值进行更新，所述隶属值更新公式如下：
18、
19、其中，ck表示质心；
20、a4、基于所述目标函数计算所述网络资源数据中数据点和聚类中心之间的距离，若数据点和每个聚类中心之间的距离大于预设的距离阈值，则将所述数据点标记为所述聚类中心的相邻点，否则，则所述数据点标记为噪声点。
21、优选的，所述负载四元组表达式如下：
22、lb(t)＝{f(t),e(t),s,u(t)}；
23、其中，lb(t)表示t时刻计算机节点的负载四元组，f(t)表示t时刻计算机节点的cpu频率值，e(t)表示t时刻计算机节点的单个请求任务的功耗，s表示t时刻计算机节点的cpu内核数，u(t)表示t时刻计算机节点处理请求任务所需cpu个数占整个cpu个数的比例。
24、优选的，基于所述负载四元组计算所述目标网络中的多个计算机节点的请求个数，包括以下步骤：
25、b1、计算所述目标网络中第i个计算机节点处理请求所需的累积功耗，所述累积功耗计算公式如下：
26、
27、其中，ei(t)表示累积功耗，t1和t2分别表示计算机节点处理请求的时间上限和下限；
28、b2、计算所述目标网络中第i个计算机节点处理请求所需的实际功率，所述实际功率计算公式如下：
29、
30、其中，bi(t)表示实际功率，λcpu表示计算机节点的cpu利用率；
31、b3、基于所述目标网络中第i个计算机节点处理请求所需的累积功耗和实际功率计算所述目标网络中第i个计算机节点的请求个数，所述请求个数计算公式如下：
32、
33、其中，bi(t)表示实际功率，λcpu表示计算机节点的cpu利用率。
34、优选的，所述执行时间代价计算公式如下：
35、t＝a×ψ(α(ni))+b×ψ(β(ri))+c×ψ(f(mi))；
36、其中，t表示执行时间代价，α(ni)表示计算机节点的负载能力，β(ri)表示计算机节点的磁盘容量，f(mi)表示磁盘i/o速度，ψ(α(ni))表示处理请求时所需负载标准化参数，ψ(β(ri))表示请求存取时间标准化参数，ψ(f(mi))表示磁盘存取的时间标准化参数，a、b、c和d表示权重系数。
37、优选的，所述请求调度方法，包括以下步骤：
38、c1、获取所述目标网络的调度队列，根据所述请求任务优先级对所对应的所述调度队列进行区分，以将所述调度队列划分为高优先级队列和低优先级队列；
39、c2、将所述执行时间代价和所述资源使用量预测值进行归一化，以得到标准执行时间代价和标准资源使用量预测值，将所述目标网络中的多个计算节点的所述执行时间代价和所述标准资源使用量预测值进行比对，将两者中最大的值作为所述计算节点的资源配额值；
40、c3、基于所述资源配额值将所述目标网络中的多个计算节点进行排序，以得到计算节点排序队列，并构建所述计算节点排序队列与高优先级队列和低优先级队列之间的任务节点映射表；
41、c4、基于所述任务节点映射表对所述目标网络中的多个计算机节点的请求任务进行请求调度。
42、与现有技术相比，本发明的上述技术方案具有如下有益的技术效果：
43、1、本发明通过信息采集和数据预处理单元的聚类方法，有效地分析和划分目标网络的网络资源数据，这使得负载量计算单元能够准确地计算出每个计算机节点的请求个数和负载情况，调度衡量单元可以计算出目标网络的平均负载量和负载量标准差，并据此评估网络的稳定性，并且请求调度单元利用调度衡量单元、资源映射单元和使用量预测单元传输的数据，进行智能化的请求任务调度。根据目标网络的稳定系数、节点的执行时间代价和资源使用量预测值，请求调度单元决定是否对节点进行请求调度，这种智能调度可以提高系统整体的效率和性能，避免了资源浪费和过度负载的问题。
44、2、本发明通过稳定系数的计算和稳定系数阈值的比对，能够判断网络当前的稳定状态，并相应地调整请求调度策略，这有助于降低系统崩溃或性能下降的风险，提升系统的稳定性和可靠性，通过使用量预测单元基于历史数据和训练好的负载预测模型，对资源使用量进行预测，这使得系统能够提前做出资源调整和优化的决策，以应对未来可能的负载变化，从而提升系统的实时响应能力和预测性能。
1.一种基于计算机信息采集的大数据处理装置，包括调度衡量单元(4)、请求调度单元(5)、资源映射单元(6)和使用量预测单元(7)，其特征在于：
2.根据权利要求1所述的一种基于计算机信息采集的大数据处理装置，其特征在于，所述调度衡量单元(4)对负载量计算单元(3)传输的所述目标网络中的多个计算机节点的请求个数进行接收，并基于所述目标网络中的多个计算机节点的请求个数计算所述目标网络的平均负载量，基于所述目标网络的平均负载量计算所述目标网络的负载量标准差，并将所述目标网络的负载量标准差与预设的标准差阈值表进行匹配，以得到所述目标网络的稳定系数，将所述目标网络的稳定系数传输至请求调度单元(5)；
3.根据权利要求2所述的一种基于计算机信息采集的大数据处理装置，其特征在于，所述使用量预测单元(7)用于基于所述目标网络中的多个计算节点的历史网络资源数据通过已训练好的负载预测模型对所述目标网络中的多个计算节点的资源使用量进行预测，以得到所述目标网络中的多个计算节点的资源使用量预测值，并将所述目标网络中的多个计算节点的资源使用量预测值传输至请求调度单元(5)；
4.根据权利要求1所述的一种基于计算机信息采集的大数据处理装置，其特征在于，所述聚类方法，包括以下步骤：
5.根据权利要求1所述的一种基于计算机信息采集的大数据处理装置，其特征在于，所述负载四元组表达式如下：
6.根据权利要求5所述的一种基于计算机信息采集的大数据处理装置，其特征在于，基于所述负载四元组计算所述目标网络中的多个计算机节点的请求个数，包括以下步骤：
7.根据权利要求2所述的一种基于计算机信息采集的大数据处理装置，其特征在于，所述执行时间代价计算公式如下：
8.根据权利要求3所述的一种基于计算机信息采集的大数据处理装置，其特征在于，所述请求调度方法，包括以下步骤：
