本说明书涉及金融,尤其是基于任务调度的负载均衡配置方法、系统及装置。
背景技术:
1、随着it市场的快速变化,云计算、大数据、物联网、人工智能等新技术也在逐步更新。越来越多的技术应用在金融领域,促使存生成大量的任务需要执行。调度服务也越来越受到重视,大批量的调度任务通过调度服务进行分发到不同类型的机器上执行。然而任务的类型是多样的,所需要的资源也是多维度的,简单的静态调度单一输入参数,对资源进行控制和评估分发,是十分粗糙的,存在非常大的局限性,并不能充分的利用各个服务器的资源,以及多方面的并发控制。
2、现有的技术方案通过配置一个平台的并发数目来控制平台任务的并发数目,通过调整机器的并发数来简单的实现对于机器资源的控制,其粗粒度的控制资源方式建立在任务等量资源的前提下,用户也无法对任务和服务器资源进行分配管理。实际运用中任务的资源占用不均衡,机器的资源分配也不同,在不同时间段内资源的受控力度不一样等问题。
技术实现思路
1、为解决现有技术分配任务导致资源占用不均衡的问题,本说明书实施例提供了基于任务调度的负载均衡配置方法、系统及装置。
2、本说明书实施例提供了一种基于任务调度的负载均衡配置方法,所述方法包括:解析待分发任务,确定待分发任务占用的资源类型、每一资源类型对应的资源阈值及每一资源类型对应的工作集群标识;获取当前时刻所述工作集群标识对应的工作节点上,执行中的已分发任务所占用的各资源类型的第一资源值,并确定所述待分发任务待占用的各资源类型的第二资源值;判断工作集群已占用的每一类资源类型的第一资源值的总和与该类资源类型对应的第二资源值之和,是否均超出所述资源类型的资源阈值;若否,将待分发任务发送至所述工作节点,由所述工作节点执行所述待分发任务;若是,获取下一时刻的第一资源值及第二资源值,重新判断每一类资源类型的资源值总和与该类资源类型对应的第二资源值之和,是否均超出所述资源类型的阈值。
3、根据本说明书实施例的一个方面,通过如下方式确定待分发任务待占用的各资源类型的第二资源值:定时获取已分发任务在历史不同时刻占用的各资源类型的第一资源值使用所述第一资源值,更新预设资源类型配置表中的各资源类型的初始资源值;根据待分发任务占用的资源类型,从预设资源类型配置表中获取所述资源类型对应的资源值;确定所述资源值,为所述第二资源值。
4、根据本说明书实施例的一个方面,在将待分发任务发送至所述工作节点之前,所述方法包括:获取各工作节点发送的当前时刻的节点信息,所述节点信息包括节点资源占用评分;根据节点资源占用评分,选择节点资源占用评分最高的工作节点;将所述待分发任务发送至所述工作节点。
5、根据本说明书实施例的一个方面,通过如下方式获取各工作节点发送的当前时刻的节点信息:确定具有所述工作集群标识的工作集群中的所有工作节点;根据每一工作节点的资源使用情况,计算所有工作节点对应的资源占用评分。
6、根据本说明书实施例的一个方面,所述方法进一步包括:将资源占用评分最高的节点,作为预备工作节点;实时获取所述预备工作节点最新的资源占用评分;判断最新的资源占用评分与所述工作节点的资源占用评分之差是否大于预设阈值;若是,将所述预备工作节点的最新的资源占用评分,更新所述所有工作节点对应的资源占用评分;从所述资源占用评分中,重新选择资源评分占用最高的工作节点。
7、根据本说明书实施例的一个方面,计算工作节点的资源占用评分包括:工作节点根据每一工作节点的资源使用情况,计算所述工作节点的资源余量;根据所述资源余量及如下公式,计算所述工作节点的当前评分:currentscore=其中,currentscore表示当前评分,i表示资源使用情况的类别数量,usedpresent表示各类资源使用情况,n表示资源使用情况的类别总数;根据所述当前评分及所述工作节点在前一时刻评分,利用如下公式确定所述工作节点的资源占用评分:score=a*(currentscore+historicalscore)/2+(1-a)*historicalscore;其中,a表示第一权重,1-a表示第二权重,score表示资源占用评分,currentscore表示当前评分,historicalscore表示前一时刻评分。
8、根据本说明书实施例的一个方面,获取所述工作集群标识对应的工作节点上,执行中的已分发任务所占用的各资源类型的第一资源值包括:判断所述工作节点是否具有api接口;若有,根据所述api接口,调用计算集群中的真实资源值,作为执行中的已分发任务所占用的第一资源值;若无,从预设资源类型配置表中获取所述工作节点在各资源类型上的资源值。
9、本说明书实施例还提供了一种基于任务调度的负载均衡配置系统,所述系统包括:主集群,包括主节点,所述主节点用于:解析待分发任务,确定待分发任务占用的资源类型、每一资源类型对应的资源阈值及每一资源类型对应的工作集群标识;获取当前时刻所述工作集群标识对应的工作节点上,执行中的已分发任务所占用的各资源类型的第一资源值,并确定所述待分发任务待占用的各资源类型的第二资源值;判断工作集群已占用的每一类资源类型的第一资源值的总和与该类资源类型对应的第二资源值之和,是否均超出所述资源类型的资源阈值;若否,将待分发任务发送至所述工作节点,由所述工作节点执行所述待分发任务;若是,获取下一时刻的第一资源值及第二资源值,重新判断每一类资源类型的资源值总和与该类资源类型对应的第二资源值之和,是否均超出所述资源类型的阈值;多个工作集群,每一工作集群中包括多个工作节点,所述工作节点用于:确定所述工作集群标识对应的工作节点上,执行中的已分发任务所占用的各资源类型的第一资源值及所述待分发任务待占用的各资源类型的第二资源值;将所述第一资源值及第二资源值发送至主节点;计算每一工作节点的资源占用评分;获取待分发任务,并控制执行所述待分发任务。
10、本说明书实施例还提供了一种基于任务调度的负载均衡配置装置,所述装置包括:解析单元,用于解析待分发任务,确定待分发任务占用的资源类型、每一资源类型对应的资源阈值及每一资源类型对应的工作集群标识;获取单元,用于获取所述工作集群标识对应的工作节点上,执行中的已分发任务所占用的各资源类型的第一资源值,并确定所述待分发任务待占用的各资源类型的第二资源值;判断单元,用于判断每一类资源类型的资源值总和与该类资源类型对应的第二资源值之和,是否均超出所述资源类型的资源阈值;执行单元,用于若否,将待分发任务发送至所述工作节点,由所述工作节点执行所述待分发任务;重新判断单元,用于若是,获取下一时刻的第一资源值及第二资源值,重新判断每一类资源类型的资源值总和与该类资源类型对应的第二资源值之和,是否均超出所述资源类型的阈值。
11、本说明书实施例还提供了一种计算机设备,所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述基于任务调度的负载均衡配置方法。
12、本说明书实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述基于任务调度的负载均衡配置方法。
13、本说明书对任务进行合理的资源控制和服务器选择,提升了资源的使用率。
1.一种基于任务调度的负载均衡配置方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,通过如下方式确定待分发任务待占用的各资源类型的第二资源值:
3.根据权利要求1所述的方法,其特征在于,在将待分发任务发送至所述工作节点之前,所述方法包括:
4.根据权利要求3所述的方法,其特征在于,通过如下方式获取各工作节点发送的当前时刻的节点信息:
5.根据权利要求4所述的方法,其特征在于,所述方法进一步包括:
6.根据权利要求4所述的方法,其特征在于,计算工作节点的资源占用评分包括:
7.根据权利要求1所述的方法,其特征在于,获取所述工作集群标识对应的工作节点上,执行中的已分发任务所占用的各资源类型的第一资源值包括:
8.一种基于任务调度的负载均衡配置系统,其特征在于,所述系统包括:
9.一种基于任务调度的负载均衡配置装置,其特征在于,所述装置包括:
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任意一项所述的方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至7任意一项所述的方法。
12.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现权利要求1至7任意一项所述方法。
