用于数据处理的方法、装置、设备和可读介质与流程

专利2025-11-18  1


本公开的示例实施例总体涉及计算机,并且更具体地,涉及用于数据处理的方法、装置、设备和计算机可读存储介质。


背景技术:

1、随着互联网技术的发展,通过互联网获取信息、生活、娱乐和工作成为人们生活的一部分。人们可以利用互联网执行各种各样的操作,这会产生大量的实时数据。大量的实时数据可以以消息队列的方式被发送至处理这些数据的处理设备(例如,集中式或分布式处理系统中的处理节点)。人们期望可以在保证数据处理的效率的同时,提高设备处理数据的能力。


技术实现思路

1、在本公开的第一方面,提供一种用于数据处理的方法。该方法包括:基于多个数据分组与多个机器实例分组之间的映射关系,指示多个机器实例分组执行针对多个数据分组的数据处理,每个数据分组包括至少一个数据集,每个机器实例分组包括对物理资源进行实例化后得到的至少一个机器实例,每个机器实例分组被配置用于执行所映射到的至少一个数据分组的数据处理;基于多个数据分组中的变化和多个机器实例分组各自的利用率中的至少一项,确定映射关系是否要被更新,利用率指示相应机器实例分组所对应的物理资源的使用情况;以及如果确定映射关系被更新,指示多个机器实例分组基于更新后的映射关系执行针对多个数据分组的数据处理。

2、在本公开的第二方面,提供一种用于数据处理的装置。该装置包括:第一执行模块,被配置为基于多个数据分组与多个机器实例分组之间的映射关系,指示多个机器实例分组执行针对多个数据分组的数据处理,每个数据分组包括至少一个数据集,每个机器实例分组包括对物理资源进行实例化后得到的至少一个机器实例,每个机器实例分组被配置用于执行所映射到的至少一个数据分组的数据处理;更新确定模块,被配置为基于多个数据分组中的变化和多个机器实例分组各自的利用率中的至少一项,确定映射关系是否要被更新,利用率指示相应机器实例分组所对应的物理资源的使用情况;以及第二执行模块,被配置为如果确定映射关系被更新,指示多个机器实例分组基于更新后的映射关系执行针对多个数据分组的数据处理。

3、在本公开的第三方面,提供了一种电子设备。该电子设备包括至少一个处理单元;以及至少一个存储器,至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令,指令在由至少一个处理单元执行时使电子设备执行本公开第一方面的方法。

4、在本公开的第四方面,提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序,其可由处理器执行以执行根据本公开的第一方面的方法。

5、应当理解,
技术实现要素:
部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。



技术特征:

1.一种数据处理方法,包括:

2.根据权利要求1所述的方法,其中确定所述映射关系是否要更新包括:

3.根据权利要求2所述的方法,其中所述映射关系通过如下被更新:

4.根据权利要求1所述的方法,其中确定所述映射关系是否要被更新包括:

5.根据权利要求4所述的方法,其中所述映射关系通过如下被更新:

6.根据权利要求5所述的方法,其中所述至少一个机器实例分组包括至少两个机器实例分组,并且其中更新所述映射关系以使所述第二数据分组被映射到所述第三机器实例分组和所述至少一个机器实例分组中的一个或多个包括:

7.根据权利要求1所述的方法,还包括:

8.一种用于数据处理的装置,包括:

9.一种电子设备,包括:

10.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序可由处理器执行以实现根据权利要求1至7任一项所述的方法。


技术总结
本公开的实施例提供用于数据处理的方法、装置、设备和可读介质。该方法包括:基于多个数据分组与多个机器实例分组之间的映射关系,指示多个机器实例分组执行针对多个数据分组的数据处理;基于多个数据分组中的变化和多个机器实例分组各自的利用率中的至少一项,确定映射关系是否要被更新;以及如果确定映射关系被更新,指示多个机器实例分组基于更新后的映射关系执行针对多个数据分组的数据处理。以此方式,可以在不改变现有的机器实例的数目的情况下,通过改变多个机器示例分组和多个数据分组之间的映射关系,来灵活改变处理对应某个数据分组的数据的机器实例分组。有助于提升数据处理的效率。

技术研发人员:孟祥涛
受保护的技术使用者:京东科技控股股份有限公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1825113.html

最新回复(0)