本技术涉及云计算,具体而言,涉及一种基于云计算的分布式负载均衡方法及系统。
背景技术:
1、随着云计算技术的快速发展,越来越多的企业和个人选择将计算任务部署到云平台上,以享受其弹性、可扩展和按需付费等优势。然而,在云计算环境中,资源的分配和管理成为了一个关键问题。特别是在处理分布式计算任务时,如何有效地分配云资源池中的执行节点,以确保任务的高效执行和资源的合理利用,成为了一个亟待解决的问题。
2、传统的云计算资源分配方法往往采用静态或简单的动态策略,无法根据任务的特性和实时需求进行灵活调整。这导致了资源利用率低下、任务执行延迟甚至失败等问题。为了解决这些问题,相关技术提出了各种基于负载均衡的资源分配方法。
3、负载均衡是分布式系统中的一个关键技术,旨在通过合理的任务调度和资源分配,使得系统中的各个节点能够均衡地处理负载,从而避免某些节点过载而其他节点闲置的情况。在云计算环境中,实现有效的负载均衡对于提高资源利用率、保障任务执行效率和提升系统整体性能具有重要意义。
4、然而,现有的基于负载均衡的云计算资源分配方法仍存在一些不足。例如,它们可能无法充分考虑任务的特性和需求,导致分配策略与任务不匹配;或者它们可能缺乏对历史数据的分析和利用,无法根据过去的经验优化未来的分配决策。这些问题限制了现有方法的性能和效果。
技术实现思路
1、有鉴于此,本技术的目的在于提供一种基于云计算的分布式负载均衡方法及系统,通过动态适配负载均衡策略,实现了云资源池中执行节点的高效分配。首先从云计算任务队列中获取分布式计算任务,并确定多个参考负载均衡策略;然后针对每个任务,从参考策略中筛选出适配的初始负载均衡策略;特别地,当存在先验负载均衡策略时,利用历史资源分配记录序列中的源性能状态数据进行策略分析,以进一步提升分配决策的准确性和效率;最后,将生成的资源分配记录加载至历史记录序列中,以便持续优化和迭代负载均衡策略,由此能够提高云计算资源的利用率和任务的执行速度。
2、依据本技术的第一方面,提供一种基于云计算的分布式负载均衡方法,所述方法包括:
3、从云计算任务队列中获取一个或多个分布式计算任务,并确定多个参考负载均衡策略;
4、针对每个所述分布式计算任务,从所述多个参考负载均衡策略中确定与所针对分布式计算任务所适配的多个初始负载均衡策略;
5、当所述多个初始负载均衡策略中包括先验负载均衡策略,依据所述多个初始负载均衡策略对所述所针对分布式计算任务进行云资源池中的执行节点分配,生成所述所针对分布式计算任务的资源分配记录;所述先验负载均衡策略,是通过分析历史资源分配记录序列中的源性能状态数据确定的;
6、将所述一个或多个分布式计算任务各自的资源分配记录加载至所述历史资源分配记录序列中,返回执行从云计算任务队列中获取一个或多个分布式计算任务的步骤,直至针对所述云计算任务队列中的分布式计算任务结束执行节点分配。
7、在第一方面的一种可能的实施方式中,所述当所述多个初始负载均衡策略中包括先验负载均衡策略,依据所述多个初始负载均衡策略对所述所针对分布式计算任务进行云资源池中的执行节点分配,生成所述所针对分布式计算任务的资源分配记录,包括:
8、获取历史资源分配记录序列对应的先验负载均衡策略,并确定所述先验负载均衡策略的应用激活要求;
9、当所述多个初始负载均衡策略中包括所述先验负载均衡策略且符合所述应用激活要求,依据所述多个初始负载均衡策略对所述所针对分布式计算任务进行云资源池中的执行节点分配,生成所述所针对分布式计算任务的资源分配记录。
10、在第一方面的一种可能的实施方式中,所述历史资源分配记录序列中标注了所述先验负载均衡策略的资源分配记录的分配特征指标符合低频策略标准;
11、所述当所述多个初始负载均衡策略中包括所述先验负载均衡策略且符合所述应用激活要求,依据所述多个初始负载均衡策略对所述所针对分布式计算任务进行云资源池中的执行节点分配,生成所述所针对分布式计算任务的资源分配记录,包括:
12、当所述多个初始负载均衡策略中包括所述先验负载均衡策略,获取所述先验负载均衡策略对应的任务关联状态;所述先验负载均衡策略对应的任务关联状态,是通过将所述所针对分布式计算任务与所述先验负载均衡策略进行任务关联分析生成的;
13、当所述先验负载均衡策略对应的任务关联状态符合所述应用激活要求,依据所述多个初始负载均衡策略对所述所针对分布式计算任务进行云资源池中的执行节点分配,生成所述所针对分布式计算任务的资源分配记录。
14、在第一方面的一种可能的实施方式中,所述方法还包括:
15、当所述多个初始负载均衡策略中不包括所述先验负载均衡策略,获取非低频策略分配条件;
16、当所述多个初始负载均衡策略分别对应的任务关联状态符合所述非低频策略分配条件,依据所述多个初始负载均衡策略对所述所针对分布式计算任务进行云资源池中的执行节点分配,生成所述所针对分布式计算任务的资源分配记录;
17、其中,所述多个初始负载均衡策略分别对应的任务关联状态,是通过将所述所针对分布式计算任务分别与所述多个初始负载均衡策略进行任务关联分析生成的。
18、在第一方面的一种可能的实施方式中,所述从所述多个参考负载均衡策略中确定与所针对分布式计算任务所适配的多个初始负载均衡策略,包括:
19、将所述所针对分布式计算任务分别与所述多个参考负载均衡策略进行任务关联分析,生成所述多个参考负载均衡策略分别对应的任务关联状态; 基于所述多个参考负载均衡策略分别对应的任务关联状态对所述多个参考负载均衡策略进行筛选,生成与所述所针对分布式计算任务所适配的多个初始负载均衡策略。
20、在第一方面的一种可能的实施方式中,所述所针对分布式计算任务包括待计算资源路径;
21、所述将所述所针对分布式计算任务分别与所述多个参考负载均衡策略进行任务关联分析,生成所述多个参考负载均衡策略分别对应的任务关联状态,包括:
22、将所述待计算资源路径分别与所述多个参考负载均衡策略进行集成,生成与所述多个参考负载均衡策略分别对应的集成资源路径;
23、获取任务关联预测网络;所述任务关联预测网络是基于所述历史资源分配记录序列中的资源分配记录进行知识学习生成的;
24、基于所述任务关联预测网络针对与所述多个参考负载均衡策略分别对应的集成资源路径分别进行任务关联预测,生成所述多个参考负载均衡策略分别对应的任务关联状态。
25、在第一方面的一种可能的实施方式中,所述获取任务关联预测网络,包括:
26、获取初始化的任务关联预测网络和历史资源分配记录序列;所述历史资源分配记录序列中的资源分配记录包括样本计算资源路径以及针对所述样本计算资源路径的策略关联标注数据;
27、基于所述初始化的任务关联预测网络,针对所述样本计算资源路径以及所述样本计算资源路径对应的策略关联标注数据进行任务关联预测,生成所述样本计算资源路径的任务关联状态;
28、基于所述样本计算资源路径的任务关联状态对所述初始化的任务关联预测网络进行训练,生成任务关联预测网络。
29、在第一方面的一种可能的实施方式中,所述基于所述多个参考负载均衡策略分别对应的任务关联状态对所述多个参考负载均衡策略进行筛选,生成与所述所针对分布式计算任务所适配的多个初始负载均衡策略,包括:
30、获取任务关联状态维持要求;
31、基于所述多个参考负载均衡策略分别对应的任务关联状态,从所述多个参考负载均衡策略中提取满足所述任务关联状态维持要求的多个维持负载均衡策略;
32、依据所述多个维持负载均衡策略,生成与所述所针对分布式计算任务所适配的多个初始负载均衡策略。
33、在第一方面的一种可能的实施方式中,所述依据所述多个初始负载均衡策略对所述所针对分布式计算任务进行云资源池中的执行节点分配,生成所述所针对分布式计算任务的资源分配记录,包括:
34、获取历史任务分配样例,并确定初始化任务分配决策网络和样例分配引导参数;
35、基于所述初始化任务分配决策网络,基于所述样例分配引导参数和针对所述历史任务分配样例进行云资源池中的执行节点分配,生成所述历史任务分配样例的样例节点分配方案;
36、获取所述历史任务分配样例的标注负载均衡策略;所述标注负载均衡策略包括针对所述历史任务分配样例依据不同分配策略进行云资源池中的执行节点分配获得的多个分配方案;
37、确定所述样例节点分配方案分别与所述多个分配方案之间的第一损失函数值,以及所述多个分配方案之间的第二损失函数值;
38、当所述第一损失函数值与所述第二损失函数值相匹配,将所述初始化任务分配决策网络输出为任务分配决策网络,并将所述样例分配引导参数输出为分配引导参数;
39、基于所述任务分配决策网络,基于所述分配引导参数和所述多个初始负载均衡策略对所述所针对分布式计算任务进行云资源池中的执行节点分配,生成所述所针对分布式计算任务的节点分配方案;
40、依据所述节点分配方案生成所述所针对分布式计算任务的资源分配记录。
41、依据本技术的第二方面,提供一种基于云计算的分布式负载均衡系统,所述基于云计算的分布式负载均衡系统包括机器可读存储介质及处理器,所述机器可读存储介质存储有机器可执行指令,所述处理器在执行所述机器可执行指令时,该基于云计算的分布式负载均衡系统实现前述的基于云计算的分布式负载均衡方法。
42、依据本技术的第三方面,提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,在所述计算机可执行指令被执行时,实现前述的基于云计算的分布式负载均衡方法。
43、依据上述任意一个方面,本技术的技术效果在于:
44、本技术实施例通过动态适配负载均衡策略,优化云资源池中执行节点的分配,从而提高分布式计算任务的执行效率。首先从云计算任务队列中获取分布式计算任务,并确定多个参考负载均衡策略。针对每个分布式计算任务,从参考负载均衡策略中筛选出适配的初始负载均衡策略,特别地,若包含先验负载均衡策略,则依据先验负载均衡策略进行执行节点的分配,并生成相应的资源分配记录。先验负载均衡策略是通过分析历史资源分配记录中的源性能状态数据得出的,能有效提升分配决策的准确性和效率。最后,将生成的资源分配记录加入历史记录序列,循环执行上述步骤直至任务队列中的分配完成,通过实时调整负载均衡策略,实现了云资源的高效利用和任务的快速执行,显著提升了云计算环境的整体性能。
1.一种基于云计算的分布式负载均衡方法,其特征在于,所述方法包括:
2.根据权利要求1所述的基于云计算的分布式负载均衡方法,其特征在于,所述当所述多个初始负载均衡策略中包括先验负载均衡策略,依据所述多个初始负载均衡策略对所述所针对分布式计算任务进行云资源池中的执行节点分配,生成所述所针对分布式计算任务的资源分配记录,包括:
3.根据权利要求2所述的基于云计算的分布式负载均衡方法,其特征在于,所述历史资源分配记录序列中标注了所述先验负载均衡策略的资源分配记录的分配特征指标符合低频策略标准;
4.根据权利要求3所述的基于云计算的分布式负载均衡方法,其特征在于,所述方法还包括:
5.根据权利要求1所述的基于云计算的分布式负载均衡方法,其特征在于,所述从所述多个参考负载均衡策略中确定与所针对分布式计算任务所适配的多个初始负载均衡策略,包括:
6.根据权利要求5所述的基于云计算的分布式负载均衡方法,其特征在于,所述所针对分布式计算任务包括待计算资源路径;
7.根据权利要求6所述的基于云计算的分布式负载均衡方法,其特征在于,所述获取任务关联预测网络,包括:
8.根据权利要求5所述的基于云计算的分布式负载均衡方法,其特征在于,所述基于所述多个参考负载均衡策略分别对应的任务关联状态对所述多个参考负载均衡策略进行筛选,生成与所述所针对分布式计算任务所适配的多个初始负载均衡策略,包括:
9.根据权利要求1所述的基于云计算的分布式负载均衡方法,其特征在于,所述依据所述多个初始负载均衡策略对所述所针对分布式计算任务进行云资源池中的执行节点分配,生成所述所针对分布式计算任务的资源分配记录,包括:
10.一种基于云计算的分布式负载均衡系统,其特征在于,包括处理器以及计算机可读存储介质,所述计算机可读存储介质存储有机器可执行指令,所述机器可执行指令被处理器执行时实现权利要求1-9中任意一项所述的基于云计算的分布式负载均衡方法。
