本申请实施例涉及分布式系统管理,涉及但不限于一种分布式系统的性能优化方法及装置、电子设备、存储介质。
背景技术:
1、目前在对分布式系统进行性能诊断的时候,一般是通过任务所在物理节点的资源,即通过cpu、内存使用量是否超过预设的资源阈值来判断作业资源是否不够或者浪费。
2、而在分布式系统的实际运行场景中,还存在其他的一些资源问题。现有的性能诊断方法获取的诊断结果较为片面,不能准确的反映分布式系统的性能问题,也不利于分布式系统的性能优化。
技术实现思路
1、有鉴于此,本申请实施例提供的分布式系统的性能优化方法及装置、电子设备、存储介质,能够对分布式系统作业的性能问题进行精准灵敏的诊断,有效的提升分布式系统作业的资源使用率。
2、第一方面,本申请实施例提供的分布式系统的性能优化方法,包括:接收针对分布式系统的性能诊断指令;响应于所述性能诊断指令,从多种诊断维度对所述分布式系统的作业情况进行诊断,获得性能诊断结果,所述多种诊断维度包括内存使用情况、中央处理器cpu使用情况,还包括作业并行度情况、作业数据情况以及内存设置情况中的至少一个;根据所述性能诊断结果,对所述分布式系统的资源进行优化处理。
3、第二方面,本申请实施例提供的分布式系统的性能优化装置,包括:指令接收模块,用于接收针对分布式系统的性能诊断指令;性能诊断模块,用于响应于所述性能诊断指令,从多种诊断维度对所述分布式系统的作业情况进行诊断,获得性能诊断结果,所述多种诊断维度包括内存使用情况、中央处理器cpu使用情况,还包括作业并行度情况、作业数据情况以及内存设置情况中的至少一个;性能优化模块,用于根据所述性能诊断结果,对所述分布式系统的资源进行优化处理。
4、第三方面,本申请实施例提供的电子设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现本申请实施例第一方面提供的方法。
5、第四方面,本申请实施例提供的计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现本申请实施例第一方面提供的方法。
6、本申请实施例所提供的分布式系统的性能优化方法、装置、电子设备和计算机可读存储介质,能够对分布式系统作业的性能问题进行精准灵敏的诊断,有效的提升分布式系统作业的资源使用率,从而解决背景技术中所提出的技术问题。
1.一种分布式系统的性能优化方法,其特征在于,应用于电子设备,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述从多种诊断维度对所述分布式系统的作业情况进行诊断,获得性能诊断结果,包括:
3.根据权利要求2所述的方法,其特征在于,所述确定诊断时间范围包括:
4.根据权利要求3所述的方法,其特征在于,所述根据所述分布式系统在所述诊断起始时间和所述诊断结束时间之间的运行情况对所述诊断起始时间进行调整,得到调整后的诊断起始时间,包括:
5.根据权利要求4所述的方法,其特征在于,所述确定所述运行情况包括目标情况以及所述目标情况对应的诊断起始时间,包括:
6.根据权利要求2所述的方法,其特征在于,所述目标作业数据包括分布式系统的任务管理节点的cpu均值利用率;所述从多种诊断维度对所述目标作业数据进行诊断,获得所述性能诊断结果,包括:
7.根据权利要求2所述的方法,其特征在于,所述目标作业数据包括分布式系统的任务管理节点的cpu峰值使用率;所述从多种诊断维度对所述目标作业数据进行诊断,获得所述性能诊断结果,包括:
8.根据权利要求2所述的方法,其特征在于,所述目标作业数据包括分布式系统的任务管理节点的虚拟机堆内存平均使用率;所述从多种诊断维度对所述目标作业数据进行诊断,获得所述性能诊断结果,包括:
9.根据权利要求2所述的方法,其特征在于,所述目标作业数据包括分布式系统的任务管理节点的流量、cpu使用率和堆内存使用率;所述从多种诊断维度对所述目标作业数据进行诊断,获得所述性能诊断结果,包括:
10.根据权利要求2所述的方法,其特征在于,所述目标作业数据包括分布式系统的任务管理节点消费堆积的分布式发布订阅消息系统的数据的延迟时间、消费堆积的分布式发布订阅消息系统的延迟数据变化和cpu利用率;所述从多种诊断维度对所述目标作业数据进行诊断,获得所述性能诊断结果,包括:
11.根据权利要求2所述的方法,其特征在于,所述目标作业数据包括分布式系统的各个任务管理节点的作业流量数据;所述从多种诊断维度对所述目标作业数据进行诊断,获得所述性能诊断结果,包括:
12.根据权利要求2所述的方法,其特征在于,所述目标作业数据包括分布式系统的任务管理节点的管理内存使用的最大值;所述从多种诊断维度对所述目标作业数据进行诊断,获得所述性能诊断结果,包括:
13.根据权利要求2所述的方法,其特征在于,所述目标作业数据包括分布式系统的任务管理节点的个数数据;所述从多种诊断维度对所述目标作业数据进行诊断,获得所述性能诊断结果,包括:
14.根据权利要求2所述的方法,其特征在于,所述目标作业数据包括分布式系统的任务管理节点的作业延迟数据、作业反压数据、作业算子的接收端缓冲池使用率和发送端缓冲池使用率;所述从多种诊断维度对所述目标作业数据进行诊断,获得所述性能诊断结果,包括:
15.根据权利要求6或7所述的方法,其特征在于,所述增加cpu配置,包括:
16.根据权利要求6所述的方法,其特征在于,所述减少cpu配置,包括
17.根据权利要求8所述的方法,其特征在于,所述降低内存配置或者增加内存配置,包括:
18.一种分布式系统的性能优化装置,其特征在于,应用于电子设备,所述装置包括:
19.一种电子设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至17任一项所述分布式系统的性能优化方法的步骤。
20.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至17任一项所述分布式系统的性能优化方法的步骤。
