任务协同调度方法、装置、设备以及介质与流程

专利2025-05-15  3


本技术涉及信息协同处理领域,尤其涉及一种任务协同调度方法、装置、设备以及介质。


背景技术:

1、在针对数字视网膜系统的端、边、云协同研究中,主要是基于数字视网膜前端提取特征和系统协同特性,提出了在前端完成特征提取和分析识别任务的一部分计算,在边、云侧依次完成分析识别任务的后续计算并传递中间结果的思想,其能够覆盖的协同场景和任务类型较为单一,尚缺乏从多元化任务的视角建立端、边、云协同的逻辑模型,难以满足实际中各类协同应用的需求;同时,其计算任务的分解和部署模式相对固定,难以在资源、任务维度实现更灵活的协同调度并兼容不同能力的设备接入。因此,相关技术方案难以满足更广泛的应用场景中对视频数据协同调度的需求。


技术实现思路

1、本技术实施例的主要目的在于提出一种任务协同调度方法、装置、设备以及介质,能够覆盖多元化的任务协同调度场景。

2、为实现上述目的,本技术实施例的第一方面提出了一种任务协同调度方法,所述方法应用于协同计算系统,所述协同计算系统包括多个节点,所述方法包括:

3、基于目标任务的原始任务描述信息对所述目标任务进行拆分编排,得到多个子任务和所述子任务之间的任务逻辑拓扑关系;

4、根据所述节点的节点信息从所述协同计算系统中为每个所述子任务分配对应的执行节点,生成子任务描述信息;

5、下发所述子任务描述信息到所述执行节点,以使每个所述执行节点按照所述子任务之间的逻辑拓扑关系执行所述子任务。

6、根据本技术实施例提供的一种任务系统调度方法,所述基于目标任务的原始任务描述信息对所述目标任务进行拆分编排,得到多个子任务和所述子任务之间的任务逻辑拓扑关系,包括:

7、基于所述原始任务描述信息将所述目标任务按照功能逻辑拆分为多个子任务;

8、根据任务分解逻辑建立所述多个子任务之间的任务逻辑拓扑关系;

9、其中,所述任务分解逻辑包括串行任务逻辑、并行任务逻辑和条件触发任务逻辑中的至少之一。

10、根据本技术实施例提供的一种任务系统调度方法,所述基于所述原始任务描述信息将所述目标任务按照功能逻辑拆分为多个子任务,包括:

11、根据所述原始任务描述信息,从预设的算法模型库中确定所述目标任务的可用算法资源;

12、根据所述可用算法资源,将所述目标任务按照功能逻辑拆分为多个子任务。

13、根据本技术实施例提供的一种任务系统调度方法,所述目标任务为视觉分析任务,所述视觉分析任务对应的子任务类型包括基础任务类型和特定任务类型中的至少之一;

14、所述基础任务类型包括以下至少之一:视频采集任务、视频/图像预处理任务、视频编码任务、视频解码任务、视频/图像处理分析任务、数据协同处理任务和推理计算任务;

15、所述特定任务类型包括以下至少之一:特征提取任务、特征编码任务、特征解码任务、特征检索比对任务和特征计算任务。

16、根据本技术实施例提供的一种任务系统调度方法,所述方法还包括:

17、根据所述原始任务描述信息和所述节点的节点信息,对所述协同计算系统所包括的各个节点进行筛选,得到预筛节点集合;

18、所述根据所述节点的节点信息从所述协同计算系统中为每个所述子任务分配对应的执行节点,包括:

19、根据所述节点的节点信息从所述预筛节点集合中为每个所述子任务分配对应的执行节点。

20、根据本技术实施例提供的一种任务系统调度方法,在所述根据所述原始任务描述信息和所述节点的节点信息,对所述协同计算系统所包括的各个节点进行筛选,得到预筛节点集合之前,所述方法还包括:

21、获取各个所述节点的节点信息;

22、所述节点信息包括以下至少之一:节点时空信息、节点硬件平台信息、节点能力信息、节点软件环境信息、节点资源信息和节点状态信息。

23、根据本技术实施例提供的一种任务系统调度方法,所述根据所述节点的节点信息从所述预筛节点集合中为每个所述子任务分配对应的执行节点,包括:

24、确定所述子任务对应的执行要求;

25、根据所述执行要求和所述节点的节点信息,从所述预筛节点集合中为每个所述子任务分配对应的执行节点。

26、根据本技术实施例提供的一种任务系统调度方法,所述执行要求包括执行环境要求、节点能力要求、算法要求和执行资源要求中的至少之一;

27、所述根据所述执行要求和所述节点的节点信息,从所述预筛节点集合中为每个所述子任务分配对应的执行节点,包括:

28、根据所述执行环境要求、所述节点能力要求、所述算法要求和所述执行资源要求中的至少之一和所述节点的节点信息,从所述预筛节点集合中为每个所述子任务分配满足执行要求的执行节点。

29、根据本技术实施例提供的一种任务系统调度方法,所述执行要求包括编/解码资源要求,其中,所述编/解码资源要求包括视频编/解码资源要求和特征编/解码资源要求中的至少之一;

30、所述根据所述执行要求和所述节点的节点信息,从所述预筛节点集合中为每个所述子任务分配对应的执行节点,包括:

31、根据所述编/解码资源要求和所述节点的节点信息,从所述预筛节点集合中为每个所述子任务分配满足所述视频编/解码资源要求或所述特征编/解码资源要求的执行节点。

32、根据本技术实施例提供的一种任务系统调度方法,所述根据所述节点的节点信息从所述预筛节点集合中为每个所述子任务分配对应的执行节点,包括:

33、根据所述节点的节点信息从所述协同计算系统中为每个所述子任务分配对应的执行节点,得到所述目标任务的任务协同调度方案;

34、在所述任务协同调度方案不满足预设条件的情况下,执行以下至少之一;

35、重新从所述预筛节点集合中为每个所述子任务分配对应新的执行节点,得到新的任务协同调度方案,直至所述新的任务协同调度方案满足所述预设条件;

36、或者,在所述任务协同调度方案不满足预设条件的情况下,返回调度失败信息。

37、根据本技术实施例提供的一种任务系统调度方法,所述方法还包括:

38、记录所述任务逻辑拓扑关系、所述子任务描述信息和所述执行节点,形成所述目标任务的任务协同描述信息;

39、基于所述任务协同描述信息对所述目标任务的协同处理过程进行管理和监控。

40、根据本技术实施例提供的一种任务系统调度方法,在下发所述子任务描述信息到所述执行节点之后,所述方法还包括:

41、接收所述执行节点发送的任务状态信息;

42、在所述任务状态信息表征当前执行节点在执行当前子任务的过程中出现异常的情况下,根据异常原因执行相应的异常处理操作。

43、根据本技术实施例提供的一种任务系统调度方法,所述原始任务描述信息包括以下至少之一:

44、任务编号、任务名称、任务类型、任务描述、任务优先级、任务约束条件、任务状态信息。

45、根据本技术实施例提供的一种任务系统调度方法,所述子任务描述信息包括以下至少之一:

46、子任务编号、子任务名称、子任务类型、子任务描述、父任务编号、依赖任务的信息、算法要求信息、执行环境要求信息、执行资源要求信息、执行节点能力要求信息、子任务优先级、子任务输入信息、子任务输出信息、子任务状态和进度、子任务执行者信息、子任务执行时间、子任务创建时间。

47、根据本技术实施例提供的一种任务系统调度方法,所述节点包括以下至少之一:终端设备、边缘设备和云端设备。

48、为实现上述目的,本技术实施例的第二方面提出了一种协同调度装置,所述协同调度装置应用于协同计算系统,所述协同计算系统包括多个节点,所述装置包括:

49、任务编排模块,用于基于目标任务的原始任务描述信息对所述目标任务进行拆分编排,得到多个子任务和所述子任务之间的任务逻辑拓扑关系;

50、任务协同调度模块,用于根据所述节点的节点信息从所述协同计算系统中为每个所述子任务分配对应的执行节点,生成子任务描述信息;

51、任务下发模块,用于下发所述子任务描述信息到所述执行节点,以使每个所述执行节点按照所述子任务之间的逻辑拓扑关系执行所述子任务。

52、为实现上述目的,本技术实施例的第三方面提出了一种电子设备,所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述第一方面所述的方法。

53、为实现上述目的,本技术实施例的第四方面提出了一种存储介质,所述存储介质为计算机可读存储介质,用于计算机可读存储,所述存储介质存储有一个或者多个计算机程序,所述一个或者多个计算机程序可被一个或者多个处理器执行,以实现上述第一方面所述的方法。

54、本技术提出一种任务协同调度方法、装置、电子设备以及计算机可读存储介质,该任务协同调度方法应用于协同计算系统,协同计算系统包括多个节点,任务协同调度方法首先基于目标任务的原始任务描述信息对目标任务进行拆分编排,得到多个子任务和子任务之间的任务逻辑拓扑关系,之后根据节点的节点信息从协同计算系统中为每个子任务分配对应的执行节点,生成子任务描述信息,最后下发子任务描述信息到执行节点,使得各个执行节点能够依据编排得到的逻辑拓扑关系完成所有子任务。本技术实施例通过原始任务描述信息定义目标任务,并基于原始任务描述信息对目标任务进行拆分编排得到多个子任务以及子任务之间的逻辑拓扑关系,之后根据协同计算系统中各个节点的节点信息从协同计算系统中为每个子任务分配对应的执行节点,使得各个执行节点能够依据编排得到的逻辑拓扑关系完成所有子任务,得到目标任务的输出结果,能够覆盖多元化的任务协同调度场景和兼容不同能力的设备接入和调度,满足不同业务类型和不同业务规模的协同处理需求。


技术特征:

1.一种任务协同调度方法,其特征在于,所述方法应用于协同计算系统,所述协同计算系统包括多个节点,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于目标任务的原始任务描述信息对所述目标任务进行拆分编排,得到多个子任务和所述子任务之间的任务逻辑拓扑关系,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述原始任务描述信息将所述目标任务按照功能逻辑拆分为多个子任务,包括:

4.根据权利要求2所述的方法,其特征在于,所述目标任务为视觉分析任务,所述视觉分析任务对应的子任务类型包括基础任务类型和特定任务类型中的至少之一;

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,在所述根据所述原始任务描述信息和所述节点的节点信息,对所述协同计算系统所包括的各个节点进行筛选,得到预筛节点集合之前,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,所述根据所述节点的节点信息从所述预筛节点集合中为每个所述子任务分配对应的执行节点,包括:

8.根据权利要求7所述的方法,其特征在于,所述执行要求包括执行环境要求、节点能力要求、算法要求和执行资源要求中的至少之一;

9.根据权利要求7所述的方法,其特征在于,所述执行要求包括编/解码资源要求,其中,所述编/解码资源要求包括视频编/解码资源要求和特征编/解码资源要求中的至少之一;

10.根据权利要求5所述的方法,其特征在于,所述根据所述节点的节点信息从所述预筛节点集合中为每个所述子任务分配对应的执行节点,包括:

11.根据权利要求1所述的方法,其特征在于,所述方法还包括:

12.根据权利要求1所述的方法,其特征在于,在下发所述子任务描述信息到所述执行节点之后,所述方法还包括:

13.根据权利要求1所述的方法,其特征在于,所述原始任务描述信息包括以下至少之一:

14.根据权利要求1所述的方法,其特征在于,所述子任务描述信息包括以下至少之一:

15.根据权利要求1所述的方法,所述节点包括以下至少之一:终端设备、边缘设备和云端设备。

16.一种协同调度装置,其特征在于,所述协同调度装置应用于协同计算系统,所述协同计算系统包括多个节点,所述装置包括:

17.一种电子设备,其特征在于,包括:

18.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至15中任一项所述的方法。


技术总结
本申请涉及信息协同处理领域,提供了一种任务协同调度方法、装置、设备以及介质,任务协同调度方法应用于包括有多个节点的协同计算系统,方法首先基于目标任务的原始任务描述信息对目标任务进行拆分编排,得到多个子任务和子任务之间的任务逻辑拓扑关系,之后根据节点的节点信息从协同计算系统中为每个子任务分配对应的执行节点,生成子任务描述信息,最后下发子任务描述信息到执行节点,使得各个执行节点能够依据编排得到的逻辑拓扑关系完成所有子任务,得到目标任务的输出结果,能够覆盖多元化的任务协同调度场景和兼容不同能力的设备接入与调度,满足不同业务类型、规模的协同处理需求。

技术研发人员:王耀威,白鑫贝,陈鹏,袁锦宇,高文
受保护的技术使用者:鹏城实验室
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1819798.html

最新回复(0)