1.本发明涉及计算机资源调度领域,具体地涉及一种基于子任务特性的多核处理器任务调度方法及系统。
背景技术:2.目前,随着电子技术的快速发展,面向模拟任务运行的计算资源调度方法一直是非常重要的问题,其对计算任务的运算效率提升起着关键性作用。在分布式计算和云计算等领域,出现了众多的计算作业调度系统,对于计算资源的调度策略也展开了诸多的应用。
3.整体来看,在分布式计算和云计算领域已经出现了众多的计算资源调度方法和相关的作业执行系统,然而其更多的是针对于简单或者可以进行任务分割的运算任务。复杂问题的求解通常需要各种模型资源、数据资源的耦合集成,不同模型的运行之间存在着一定的关联性,且由于分布式计算资源的环境是异构且动态变化的,这就使得支撑模型运算的计算资源调度成为一项极其复杂的工作,因此探索面向开放式模拟的计算资源调度策略十分必要。
4.目前大多数的模型服务还是以特定的研究机构集中式贡献为主,服务器数量和性能的局限性使得在面向多任务、多用户的地理模拟任务运行时充满了挑战。然而,目前不同的科研人员都积累了众多的计算资源,这些计算资源都能够为模型的运行提供良好的支撑。如何在开放式的网络环境下,让不同的使用者们协作起来,共享各自拥有的计算资源、模型资源、数据资源,对于开放式模拟相关工作的开展起着举足轻重的作用。
5.现有技术中,虽然存在较多任务调度,但是其任务调度不灵活,反应有时并不是人所想要的方向或速度;对计算节点性能只考虑硬件参数,而为考虑随着时间硬件性能变弱等特点。且关联子任务之间的计算较为复杂,大大增加了硬件通信负担,如何能够让任务调度更加智能化、高效率化,提高其运行效率,增强计算速度成为新的研究课题,但是现有任务调度准确性以及效率较低;因此,一种基于子任务特性的多核处理器高效率任务调度方法及系统成为迫切需求,从而改善用户的体验。
技术实现要素:6.为解决上述技术问题,本发明提供一种基于子任务特性的多核处理器任务调度方法及系统,本发明的基于子任务特性的多核处理器任务调度方法及系统显著了任务调度计算效率,在准确率方面大大增强,增强用户体验;基于子任务特性的多核处理器任务调度方法,包括步骤:对计算节点性能进行实时计算;获取子任务q布置到计算节点n上的适应度值;将子任务确定为关联子任务和独立子任务,对于关联子任务,计算关联子任务之间的关联度,基于关联度以及适应度值采用tdmscl算法对任务进行调度选择处理器分配处理器核心;对于独立子任务,确定独立子任务的任务参数,基于任务参数直接采用tdmscl算法对任务进行调度选择处理器分配处理器核心;
分别是待部署的子任务对计算节点内cpu、内存、硬盘、网络带宽、gpu和网络延迟的权重需求值;为时间参数,时间越长值越小,;其中,b表示具体计算节点上参数指标的属性值,a表示x的基准值;所述计算节点性能x包括cpu、内存、硬盘、网络带宽、gpu和网络延迟迟六个参数指标;关联子任务之间的关联度计算如下:其中,e表示任务和共同包含的参数个数,表示任务和中涉及的参数较少的任务参数个数。
7.优选地,所述计算关联子任务之间的关联度,之后还包括步骤判断子任务之间是否完全或者部分依赖于其他子任务的执行才能执行,或者存在相互调用关系,若是则将该关联子任务分配打包分配至同一计算节点。
8.优选地,所述基于关联度以及适应度值采用tdmscl算法对任务进行调度选择处理器分配处理器核心,之后还包括将关联度大于设定阈值的任务打包分配到适应度值最高的计算节点上进行处理。
9.优选地,所述基于关联度以及适应度值采用tdmscl算法对任务进行调度选择处理器分配处理器核心;当关联子任务之间的关联度大于设定阈值时,则将关联子任务分配同一处理器核心处理,以减少通信开销。
10.优选地,所述子任务包括智能导航、智能物联网、医学图像处理、元宇宙、边缘计算,根据两两任务之间的关联度,确定不同任务中对独立子任务或子任务关联度进行认定,并分配选择不同适应度值的计算节点。
11.优选地,所述为时间参数,时间越长值越小,与cpu、内存、硬盘、gpu的平均保质期限成正比,与网络带宽成正比、与网络延迟成反比。
12.基于子任务特性的多核处理器任务调度系统,其特征在于,包括计算模块:对计算节点性能进行实时计算,获取子任务q布置到计算节点n上的适应度值;关联度计算模块:将子任务确定为关联子任务和独立子任务,对于关联子任务,计算关联子任务之间的关联度;任务调度模块:基于关联度以及适应度值采用tdmscl算法对任务进行调度选择处理器分配处理器核心;对于独立子任务,确定独立子任务的任务参数,基于任务参数直接采用tdmscl算法对任务进行调度选择处理器分配处理器核心;
分别是待部署的子任务对计算节点内cpu、内存、硬盘、网络带宽、gpu和网络延迟的权重需求值;为时间参数,时间越长值越小,;其中,b表示具体计算节点上参数指标的属性值,a表示x的基准值;所述计算节点性能x包括cpu、内存、硬盘、网络带宽、gpu和网络延迟六个参数指标;关联子任务之间的关联度计算如下:其中,e表示任务和共同包含的参数个数,表示任务和中涉及的参数较少的任务参数个数。
13.优选地,所述计算关联子任务之间的关联度,之后还包括判断模块:判断子任务之间是否完全或者部分依赖于其他子任务的执行才能执行,或者存在相互调用关系,若是则将该关联子任务分配打包分配至同一计算节点。
14.优选地,所述基于关联度以及适应度值采用tdmscl算法对任务进行调度选择处理器分配处理器核心,之后还包括处理模块:将关联度大于设定阈值的任务打包分配到适应度值最高的计算节点上进行处理。
15.优选地,所述基于关联度以及适应度值采用tdmscl算法对任务进行调度选择处理器分配处理器核心;当关联子任务之间的关联度大于设定阈值时,则将关联子任务分配同一处理器核心处理,以减少通信开销。
16.优选地,所述子任务包括智能导航、智能物联网、医学图像处理、元宇宙、边缘计算,根据两两任务之间的关联度,确定不同任务中对独立子任务或子任务关联度进行认定,并分配选择不同适应度值的计算节点。
17.优选地,所述为时间参数,时间越长值越小,与cpu、内存、硬盘、gpu的平均保质期限成正比,与网络带宽成正比、与网络延迟成反比。
18.与现有技术相比,本发明的技术方案具有以下有益效果:解决了传统技术中存在较多任务调度,但是其任务调度不灵活,反应有时并不是人所想要的方向或速度;对计算节点性能只考虑硬件参数,而没有考虑随着时间硬件性能变弱等特点。且关联子任务之间的计算较为复杂,大大增加了硬件通信负担,能够让任务调度更加智能化、高效率化。本技术对计算节点性能进行实时计算;获取子任务q布置到计算节点n上的适应度值;尤其是计算适应度值时将为时间参数作为考虑因素,大大
增加了任务调度准确度和效率;将子任务确定为关联子任务和独立子任务,对于关联子任务,计算关联子任务之间的关联度,基于关联度以及适应度值采用tdmscl算法对任务进行调度选择处理器分配处理器核心;尤其本技术的关联子任务之间的关联度计算如下:其中,e表示任务和共同包含的参数个数,表示任务和中涉及的参数较少的任务参数个数,大大增强了使用者体验,且在准确率方面大大增强,增强用户体验。
附图说明
19.为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
20.图1是本发明一种基于子任务特性的多核处理器任务调度系统图。
具体实施方式
21.下面结合附图对本发明实施例进行详细描述。
22.需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合;并且,基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
23.需要说明的是,下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开,所属领域的技术人员应了解,本文中所描述的一个方面可与任何其它方面独立地实施,且可以各种方式组合这些方面中的两者或两者以上。举例来说,可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
24.本领域技术人员理解,如背景技术所言,传统的任务调度虽然存在较多任务调度方法,但是其任务调度不灵活,反应有时并不是人所想要的方向或速度;对计算节点性能只考虑硬件参数,而为考虑随着时间硬件性能变弱等特点。如何如何能够让任务调度更加智能化、高效率化,提高其运行效率,增强计算速度成为新的研究课题。为使本发明的上述目的、特征和有益效果能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
25.实施例1:图一示出了本技术的基于子任务特性的多核处理器任务调度系统图,包括步骤:对计算节点性能进行实时计算;获取子任务q布置到计算节点n上的适应度值;将子
任务确定为关联子任务和独立子任务,对于关联子任务,计算关联子任务之间的关联度,基于关联度以及适应度值采用tdmscl算法对任务进行调度选择处理器分配处理器核心;对于独立子任务,确定独立子任务的任务参数,基于任务参数直接采用tdmscl算法对任务进行调度选择处理器分配处理器核心;法对任务进行调度选择处理器分配处理器核心;法对任务进行调度选择处理器分配处理器核心;法对任务进行调度选择处理器分配处理器核心;法对任务进行调度选择处理器分配处理器核心;分别是待部署的子任务对计算节点内cpu、内存、硬盘、网络带宽、gpu和网络延迟的权重需求值;为时间参数,时间越长值越小,;其中,b表示具体计算节点上参数指标的属性值,a表示x的基准值;所述计算节点性能x包括cpu、内存、硬盘、网络带宽、gpu和网络延迟六个参数指标;关联子任务之间的关联度计算如下:其中,e表示任务和共同包含的参数个数,表示任务和中涉及的参数较少的任务参数个数。
26.在一些实施例中,所述计算关联子任务之间的关联度,之后还包括步骤判断子任务之间是否完全或者部分依赖于其他子任务的执行才能执行,或者存在相互调用关系,若是则将该关联子任务分配打包分配至同一计算节点。
27.在一些实施例中,所述基于关联度以及适应度值采用tdmscl算法对任务进行调度选择处理器分配处理器核心,之后还包括将关联度大于设定阈值的任务打包分配到适应度值最高的计算节点上进行处理。
28.在一些实施例中,所述基于关联度以及适应度值采用tdmscl算法对任务进行调度选择处理器分配处理器核心;当关联子任务之间的关联度大于设定阈值时,则将关联子任务分配同一处理器核心处理,以减少通信开销。
29.在一些实施例中,所述子任务包括智能导航、智能物联网、医学图像处理、元宇宙、边缘计算,根据两两任务之间的关联度,确定不同任务中对独立子任务或子任务关联度进行认定,并分配选择不同适应度值的计算节点。
30.在一些实施例中,所述为时间参数,时间越长值越小,与cpu、内存、硬盘、gpu的平均保质期限成正比,与网络带宽成正比、与网络延迟成反比。
31.实施例2:基于子任务特性的多核处理器任务调度系统,包括计算模块:对计算节点性能进
行实时计算,获取子任务q布置到计算节点n上的适应度值;关联度计算模块:将子任务确定为关联子任务和独立子任务,对于关联子任务,计算关联子任务之间的关联度;任务调度模块:基于关联度以及适应度值采用tdmscl算法对任务进行调度选择处理器分配处理器核心;对于独立子任务,确定独立子任务的任务参数,基于任务参数直接采用tdmscl算法对任务进行调度选择处理器分配处理器核心;采用tdmscl算法对任务进行调度选择处理器分配处理器核心;采用tdmscl算法对任务进行调度选择处理器分配处理器核心;采用tdmscl算法对任务进行调度选择处理器分配处理器核心;采用tdmscl算法对任务进行调度选择处理器分配处理器核心;分别是待部署的子任务对计算节点内cpu、内存、硬盘、网络带宽、gpu和网络延迟的权重需求值;为时间参数,时间越长值越小,;其中,b表示具体计算节点上参数指标的属性值,a表示x的基准值;所述计算节点性能x包括cpu、内存、硬盘、网络带宽、gpu和网络延迟六个参数指标;关联子任务之间的关联度计算如下:其中,e表示任务和共同包含的参数个数,表示任务和中涉及的参数较少的任务参数个数。
32.在一些实施例中,所述计算关联子任务之间的关联度,之后还包括判断模块:判断子任务之间是否完全或者部分依赖于其他子任务的执行才能执行,或者存在相互调用关系,若是则将该关联子任务分配打包分配至同一计算节点。
33.在一些实施例中,所述基于关联度以及适应度值采用tdmscl算法对任务进行调度选择处理器分配处理器核心,之后还包括处理模块:将关联度大于设定阈值的任务打包分配到适应度值最高的计算节点上进行处理。
34.在一些实施例中,所述基于关联度以及适应度值采用tdmscl算法对任务进行调度选择处理器分配处理器核心;当关联子任务之间的关联度大于设定阈值时,则将关联子任务分配同一处理器核心处理,以减少通信开销。
35.在一些实施例中,所述子任务包括智能导航、智能物联网、医学图像处理、元宇宙、边缘计算,根据两两任务之间的关联度,确定不同任务中对独立子任务或子任务关联度进行认定,并分配选择不同适应度值的计算节点。
36.在一些实施例中,所述为时间参数,时间越长值越小,与cpu、内存、硬盘、gpu的平均保质期限成正比,与网络带宽成正比、与网络延迟成反比。
37.本发明的基于子任务特性的多核处理器任务调度系统,解决了解决了传统技术中
存在较多任务调度,但是其任务调度不灵活,反应有时并不是人所想要的方向或速度;对计算节点性能只考虑硬件参数,而为考虑随着时间硬件性能变弱等特点。且关联子任务之间的计算较为复杂,大大增加了硬件通信负担,能够让任务调度更加智能化、高效率化。本技术对计算节点性能进行实时计算;获取子任务q布置到计算节点n上的适应度值;尤其是计算适应度值时将;为时间参数作为考虑因素,大大增加了任务调度准确度和效率;将子任务确定为关联子任务和独立子任务,对于关联子任务,计算关联子任务之间的关联度,基于关联度以及适应度值采用tdmscl算法对任务进行调度选择处理器分配处理器核心;尤其本技术的关联子任务之间的关联度计算如下:其中,e表示任务和共同包含的参数个数,表示任务和中涉及的参数较少的任务参数个数,大大增强了使用者体验,且在准确率方面大大增强,增强用户体验。本领域技术人员应明白,本技术的实施例可提供为方法、系统、或计算机程序产品,因此本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
38.以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
技术特征:1.一种基于子任务特性的多核处理器任务调度方法,其特征在于,包括步骤:对计算节点性能进行实时计算;获取子任务q布置到计算节点n上的适应度值;将子任务确定为关联子任务和独立子任务,对于关联子任务,计算关联子任务之间的关联度,基于关联度以及适应度值采用tdmscl算法对任务进行调度选择处理器分配处理器核心;对于独立子任务,确定独立子任务的任务参数,基于任务参数直接采用tdmscl算法对任务进行调度选择处理器分配处理器核心;进行调度选择处理器分配处理器核心;进行调度选择处理器分配处理器核心;进行调度选择处理器分配处理器核心;进行调度选择处理器分配处理器核心;分别是待部署的子任务对计算节点内cpu、内存、硬盘、网络带宽、gpu和网络延迟的权重需求值;为时间参数,时间越长值越小,;其中,b表示具体计算节点上参数指标的属性值,a表示x的基准值;所述计算节点性能x包括cpu、内存、硬盘、网络带宽、gpu和网络延迟六个参数指标;关联子任务之间的关联度计算如下:其中,e表示任务和共同包含的参数个数,表示任务和中涉及的参数较少的任务参数个数。2.根据权利要求1所述的基于子任务特性的多核处理器任务调度方法,其特征在于,所述计算关联子任务之间的关联度,之后还包括步骤判断子任务之间是否完全或者部分依赖于其他子任务的执行才能执行,或者存在相互调用关系,若是则将该关联子任务分配打包分配至同一计算节点。3.根据权利要求1所述的基于子任务特性的多核处理器任务调度方法,其特征在于,所述基于关联度以及适应度值采用tdmscl算法对任务进行调度选择处理器分配处理器核心,之后还包括将关联度大于设定阈值的任务打包分配到适应度值最高的计算节点上进行处理。4.根据权利要求1所述的基于子任务特性的多核处理器任务调度方法,其特征在于,所述基于关联度以及适应度值采用tdmscl算法对任务进行调度选择处理器分配处理器核心;当关联子任务之间的关联度大于设定阈值时,则将关联子任务分配同一处理器核心处理,以减少通信开销。5.根据权利要求1所述的基于子任务特性的多核处理器任务调度方法,其特征在于,所述子任务包括智能导航、智能物联网、医学图像处理、元宇宙、边缘计算,根据两两任务之间
的关联度,确定不同任务中对独立子任务或子任务关联度进行认定,并分配选择不同适应度值的计算节点。6.根据权利要求1所述的基于子任务特性的多核处理器任务调度方法,其特征在于,所述为时间参数,时间越长值越小,与cpu、内存、硬盘、gpu的平均保质期限成正比,与网络带宽成正比、与网络延迟成反比。7.一种基于子任务特性的多核处理器任务调度系统,其特征在于,包括计算模块:对计算节点性能进行实时计算,获取子任务q布置到计算节点n上的适应度值;关联度计算模块:将子任务确定为关联子任务和独立子任务,对于关联子任务,计算关联子任务之间的关联度;任务调度模块:基于关联度以及适应度值采用tdmscl算法对任务进行调度选择处理器分配处理器核心;对于独立子任务,确定独立子任务的任务参数,基于任务参数直接采用tdmscl算法对任务进行调度选择处理器分配处理器核心;任务参数直接采用tdmscl算法对任务进行调度选择处理器分配处理器核心;任务参数直接采用tdmscl算法对任务进行调度选择处理器分配处理器核心;任务参数直接采用tdmscl算法对任务进行调度选择处理器分配处理器核心;任务参数直接采用tdmscl算法对任务进行调度选择处理器分配处理器核心;分别是待部署的子任务对计算节点内cpu、内存、硬盘、网络带宽、gpu和网络延迟的权重需求值;为时间参数,时间越长值越小,;其中,b表示具体计算节点上参数指标的属性值,a表示x的基准值;所述计算节点性能x包括cpu、内存、硬盘、网络带宽、gpu和网络延迟六个参数指标;关联子任务之间的关联度计算如下:其中,e表示任务和共同包含的参数个数,表示任务和中涉及的参数较少的任务参数个数。8.根据权利要求7所述的基于子任务特性的多核处理器任务调度系统,其特征在于,所述计算关联子任务之间的关联度,之后还包括判断模块:判断子任务之间是否完全或者部分依赖于其他子任务的执行才能执行,或者存在相互调用关系,若是则将该关联子任务分配打包分配至同一计算节点。9.根据权利要求7所述的基于子任务特性的多核处理器任务调度系统,其特征在于,所述基于关联度以及适应度值采用tdmscl算法对任务进行调度选择处理器分配处理器核心,之后还包括处理模块:将关联度大于设定阈值的任务打包分配到适应度值最高的计算节点上进行处理。10.根据权利要求7所述的基于子任务特性的多核处理器任务调度系统,其特征在于,
所述基于关联度以及适应度值采用tdmscl算法对任务进行调度选择处理器分配处理器核心;当关联子任务之间的关联度大于设定阈值时,则将关联子任务分配同一处理器核心处理,以减少通信开销。11.根据权利要求7所述的基于子任务特性的多核处理器任务调度系统,其特征在于,所述子任务包括智能导航、智能物联网、医学图像处理、元宇宙、边缘计算,根据两两任务之间的关联度,确定不同任务中对独立子任务或子任务关联度进行认定,并分配选择不同适应度值的计算节点。12.根据权利要求7所述的基于子任务特性的多核处理器任务调度系统,其特征在于,所述为时间参数,时间越长值越小,与cpu、内存、硬盘、gpu的平均保质期限成正比,与网络带宽成正比、与网络延迟成反比。
技术总结本申请公开了一种基于子任务特性的多核处理器任务调度方法及系统,涉及计算机资源调度领域,包括步骤:对计算节点性能进行实时计算;获取子任务Q布置到计算节点N上的适应度值;将子任务确定为关联子任务和独立子任务,计算关联子任务之间的关联度,基于关联度以及适应度值采用TDMSCL算法对任务进行调度选择处理器分配处理器核心;对于独立子任务,确定独立子任务的任务参数,基于任务参数直接采用TDMSCL算法对任务进行调度选择处理器分配处理器核心。本发明计算适应度值时将时间参数以及硬件性能随着时间变弱作为综合考虑因素,通过关联子任务之间的关联度计算,大大增加了任务调度准确度以及调度效率,改善了用户体验。改善了用户体验。改善了用户体验。
技术研发人员:王嘉诚 张少仲 张栩
受保护的技术使用者:中诚华隆计算机技术有限公司
技术研发日:2022.05.17
技术公布日:2022/7/5