本技术涉及计算机,尤其涉及一种资源调度方法、系统及设备。
背景技术:
1、随着互联网技术的发展,高性能计算(high performance computing,hpc)集群被广泛应用。大数据、人工智能(artificial intelligence,ai)等均可以在hpc集群上运行。hpc集群中的统一调度器可以根据业务处理请求调度集群资源(集群中的计算节点),以使相应的业务可以在集群中的计算节点上运行。例如,业务处理请求可以为ai业务处理请求、大数据业务处理请求等。然而,相关技术中,集群资源的资源利用率较低、业务处理速度较低。
技术实现思路
1、本技术提供了一种资源调度方法、系统及设备,提高了集群资源利用率、提高了业务处理速度。
2、第一方面,本技术提供一种资源调度方法,包括:
3、从第一集群获取至少一个业务处理请求,所述业务处理请求包括运行所述业务处理请求中的业务所需的资源需求量;
4、根据所述至少一个业务处理请求,生成资源调度任务,所述资源调度任务包括总资源需求量,所述总资源需求量为每个所述业务处理请求的资源需求量的总和;
5、获取空闲计算节点的总资源量,当空闲计算节点的总资源量小于所述总资源需求量时,将所述总资源量对应的空闲计算节点分配给所述第一集群,并确认待分配资源需求量,所述待分配资源需求量为所述总资源需求量减去所述总资源量;
6、根据所述待分配资源需求量为所述第一集群至少一次分配新增的空闲计算节点,其中,分配给所述第一集群的资源量大于或等于所述总资源需求量。
7、上述技术方案,可以根据至少一个业务处理请求生成资源调度任务,根据资源调度任务为第一集群分配空闲计算节点、并至少一次为第一集群分配新增的空闲计算节点。通过上述方法,可以尽快为业务处理请求分配资源,使得集群的资源利用率较高、业务处理速度较高。
8、一种可能的实现方式中,所述根据所述待分配资源需求量为所述第一集群至少一次分配新增的空闲计算节点,包括:
9、根据所述待分配资源需求量生成影子任务,所述影子任务包括所述待分配资源需求量;
10、根据所述影子任务为所述第一集群至少一次分配新增的空闲计算节点。
11、上述技术方案中,可以根据待分配资源量生成影子任务,且根据影子任务继续为第一集群至少一次分配新增的空闲计算节点。通过上述方法,实现了分批次为第一集群分配资源的目的,提高了集群中整体资源利用率。
12、一种可能的实现方式中,所述根据所述影子任务为所述第一集群至少一次分配新增的空闲计算节点,包括:
13、根据所述总资源需求量和已为所述第一集群分配的总资源量,确定第i个待分配资源量;
14、根据所述第i个待分配资源量生成第i个影子任务;
15、根据所述第i个影子任务,为所述第一集群进行第i+1次资源分配;
16、其中,所述i依次取1、2、……,直至为所述第一集群分配的资源量大于或等于所述总资源需求量。
17、上述技术方案中,可以根据总资源需求量和已经为第一集群分配的资源量,生成影子任务,并可以根据影子任务为第一集群继续分配资源。通过上述方法,可以及时将集群中的空闲计算节点分配给第一集群,使得集群中的资源利用率较高。
18、一种可能的实现方式中,根据所述至少一个业务处理请求,生成资源调度任务,包括:
19、对所述至少一个业务处理请求进行解析处理,得到每个业务处理请求中所述多种资源类型的资源需求量;
20、根据每个业务处理请求中所述多种资源类型的资源需求量,确定所述多种资源类型的总资源需求量;
21、根据所述多种资源类型的总资源需求量,生成所述资源调度任务。
22、上述技术方案中,可以根据至少一个业务处理请求生成资源调度任务,以便于资源调度平台根据资源调度任务向第一集群分配资源。
23、一种可能的实现方式中,为所述第一集群分配空闲计算节点之后,还包括:
24、确定为所述第一集群分配的第二计算节点;
25、将所述第二计算节点的状态从空闲状态切换为占用状态。
26、上述技术方案中,在集群中的计算节点被占用后,可以将该计算节点的状态从空闲状态切换为占用状态,避免了资源调度平台重复将同一计算节点分配给多个第一集群。
27、一种可能的实现方式中,所述方法还包括:
28、获取所述第一集群的各计算节点的资源使用信息;
29、若根据所述资源使用信息确定所述第一集群中的第三计算节点上未运行业务,则从所述第一集群中回收所述第三计算节点,并将所述第三计算节点的状态切换为空闲状态。
30、上述技术方案中,可以及时回收第一集群中的空闲计算节点,以便于重新向该计算节点分配业务处理任务,使得资源利用率较高。
31、第二方面,本技术提供一种计算设备,所述计算设备包括存储器和处理器,所述处理器与所述存储器连接,
32、所述处理器用于,根据第一集群的至少一个业务处理请求,生成资源调度任务,所述资源调度任务包括用于运行至少一个业务处理请求的业务所需的总资源需求量,所述总资源需求量为每个所述业务处理请求的资源需求量的总和;
33、所述处理器还用于,获取空闲计算节点的总资源量,当空闲计算节点的总资源量小于所述总资源需求量时,将所述总资源量对应的空闲计算节点分配给所述第一集群,并确认待分配资源需求量,所述待分配资源需求量为所述总资源需求量减去所述总资源量;
34、所述处理器还用于,根据所述待分配资源需求量为所述第一集群至少一次分配新增的空闲计算节点,其中,分配给所述第一集群的资源量大于或等于所述总资源需求量。
35、上述技术方案中,可以根据至少一个业务处理请求生成资源调度任务,根据资源调度任务为第一集群分配空闲计算节点、并生成影子任务;根据影子任务至少一次为第一集群分配新增的空闲计算节点。通过上述方法,可以分批次为第一集群分配资源,使得集群中整体资源利用率较高,业务处理速度较快。
36、一种可能的实现方式中,
37、所述处理器还用于,在总资源量小于总资源需求量时生成影子任务,并根据所述影子任务为所述第一集群至少一次分配新增的空闲计算节点;
38、所述处理器还用于,获取所述第一集群的各计算节点的资源使用信息;若根据所述资源使用信息确定所述第一集群中的第三计算节点上未运行业务,则从所述第一集群中回收所述第三计算节点,并将所述第三计算节点的状态切换为空闲状态。
39、上述技术方案中,可以根据影子任务继续为第一集群分配资源,实现了分批次为第一集群分配资源的目的,提高了集群中整体资源利用率。另外,还可以回收第一集群中的空闲资源,以便于重新向该计算节点分配业务处理任务,使得资源利用率较高。
40、第三方面,本技术提供一种资源调度系统,包括第二方面所述的计算设备和至少一个第一集群,其中,
41、所述计算设备用于执行第一方面任一项所述的方法,以为所述第一集群分配空闲计算节点,并为所述第一集群至少一次分配新增的空闲计算节点;
42、所述第一集群用于,调度分配得到的空闲计算节点执行所述至少一个业务处理请求。
43、上述技术方案中,可以根据至少一个业务处理请求生成资源调度任务,根据资源调度任务为第一集群分配空闲计算节点、并生成影子任务;根据影子任务至少一次为第一集群分配新增的空闲计算节点。通过上述方法,可以分批次为第一集群分配资源,使得集群中整体资源利用率较高,业务处理速度较快。
44、第四方面,本技术提供一种资源调度设备,包括:处理器,以及与所述处理器通信连接的存储器;
45、所述存储器存储有计算机程序;
46、所述处理器执行所述计算机程序,以实现如第一方面中任一项所述的方法。
47、上述技术方案中,可以根据至少一个业务处理请求生成资源调度任务,根据资源调度任务为第一集群分配空闲计算节点、并生成影子任务;根据影子任务至少一次为第一集群分配新增的空闲计算节点。通过上述方法,可以分批次为第一集群分配资源,使得集群中整体资源利用率较高,业务处理速度较快。
48、第五方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被计算机执行时实现如第一方面中任一项所述的方法。
49、上述技术方案中,可以根据至少一个业务处理请求生成资源调度任务,根据资源调度任务为第一集群分配空闲计算节点、并生成影子任务;根据影子任务至少一次为第一集群分配新增的空闲计算节点。通过上述方法,可以分批次为第一集群分配资源,使得集群中整体资源利用率较高,业务处理速度较快。
50、第六方面,本技术提供一种计算机程序产品,包括计算机程序,所述计算机程序被计算机执行时实现如第一方面中任一项所述的方法。
51、上述技术方案中,可以根据至少一个业务处理请求生成资源调度任务,根据资源调度任务为第一集群分配空闲计算节点、并生成影子任务;根据影子任务至少一次为第一集群分配新增的空闲计算节点。通过上述方法,可以分批次为第一集群分配资源,使得集群中整体资源利用率较高,业务处理速度较快。
1.一种资源调度方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述待分配资源需求量为所述第一集群至少一次分配新增的空闲计算节点,包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述影子任务为所述第一集群至少一次分配新增的空闲计算节点,包括:
4.根据权利要求1-3任一项所述的方法,其特征在于,所述根据所述至少一个业务处理请求,生成资源调度任务,包括:
5.根据权利要求1-4任一项所述的方法,其特征在于,为所述第一集群分配空闲计算节点之后,还包括:
6.根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:
7.一种计算设备,其特征在于,所述计算设备包括存储器和处理器,所述处理器与所述存储器连接,
8.根据权利要求7所述的计算设备,其特征在于,
9.一种资源调度系统,其特征在于,包括权利要求7或8所述的计算设备和至少一个第一集群,其中,
10.一种资源调度设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
