一种无效数据回收方法及装置与流程

专利2025-11-16  2


本说明书涉及通信,尤其涉及一种无效数据回收方法及装置。


背景技术:

1、随着信息技术的发展,各类数据开始在网络中进行存储,为了提升存储和获取的效率,分布式存储系统应运而生。在分布式存储系统中,存在各种不同场景的存储情况,一般情况下会分为随机小io(input output,输入输出)和顺序大io,随机小io所分配的带宽远小于顺序大io,因此,分布式存储系统可以将若干随机小io进行聚合形成一个大io写入,这里就涉及到了row(redirect of write)技术。在进行随机小io的数据进行聚合的过程中,原存储对象中的存储位置段会形成无效数据,需要对这些无效数据进行清理,避免对底层存储空间的占用。

2、在当前的无效数据回收机制中,需要将有效数据进行搬移到新的存储对象中。在分布式存储系统中所存储的数据增加时,有效数据会远大于无效数据,这一情况将使得无效数据回收的过程中需要搬移大量的有效数据来回收存储对象,降低了分布式存储系统的处理效率。


技术实现思路

1、为克服相关技术中存在的问题,本说明书提供了一种无效数据回收方法及装置。

2、根据本说明书实施例的第一方面,提供了一种无效数据回收方法,应用于分布式存储系统的服务端,包括:

3、接收客户端发送的写入请求,将写入请求所携带的待存储数据存储至缓存空间;

4、获取当前存储对象中无效数据的对象空间;

5、对待存储数据进行聚合,将聚合后的待存储数据写入到当前存储对象中无效数据的对象空间。

6、可选的,在所述获取当前存储对象中无效数据的对象空间之前,还包括:

7、若分布式存储系统中的数据存储量与存储空间总量的比值超过第一比值,则对当前存储对象中的无效数据进行扫描。

8、可选的,所述获取当前存储对象中无效数据的对象空间,包括:

9、若当前存储对象中的无效数据的数据量与当前存储对象的数据总量的比值超过第二比值,则获取当前存储对象中无效数据的对象空间。

10、可选的,所述获取当前存储对象中无效数据的对象空间,还包括:

11、若当前存储对象中的无效数据的数据量与当前存储对象的数据总量的比值未超过第二比值,则获取当前存储对象中有效数据的对象空间;

12、在获取当前存储对象中无效数据的对象空间之后,还包括:

13、申请新的存储对象,并将当前存储对象中的有效数据搬移至新的对象的对象空间中;

14、删除有效数据被搬移的当前存储对象。

15、根据本说明书实施例的第二方面,提供了一种无效数据回收装置,应用于分布式存储系统的服务端,包括:

16、接收单元,用于接收客户端发送的写入请求,将写入请求所携带的待存储数据存储至缓存空间;

17、回收单元,用于获取当前存储对象中无效数据的对象空间;

18、写入单元,用于对待存储数据进行聚合,将聚合后的待存储数据写入到当前存储对象中无效数据的对象空间。

19、可选的,该装置,还包括:

20、扫描单元,用于若分布式存储系统中的数据存储量与存储空间总量的比值超过第一比值,则对当前存储对象中的无效数据进行扫描。

21、可选的,所述回收单元,包括:

22、无效数据监测模块,用于若当前存储对象中的无效数据的数据量与当前存储对象的数据总量的比值超过第二比值,则获取当前存储对象中无效数据的对象空间。

23、可选的,所述回收单元,还包括:

24、有效数据监测模块,用于若当前存储对象中的无效数据的数据量与当前存储对象的数据总量的比值未超过第二比值,则获取当前存储对象中有效数据的对象空间;

25、所述装置,还包括

26、搬移单元,用于申请新的存储对象,并将当前存储对象中的有效数据搬移至新的对象的对象空间中;

27、删除单元,用于删除有效数据被搬移的当前存储对象。

28、根据本说明书实施例的第三方面,提供了一种服务器,包括收发器、处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器被所述机器可执行指令促使:实现上述任一项所述的方法步骤。

29、根据本说明书实施例的第四方面,提供了一种机器可读存储介质,存储有机器可执行指令,在被处理器调用和执行时,所述机器可执行指令促使所述处理器:实现上述任一项所述的方法步骤。

30、本说明书的实施例提供的技术方案可以包括以下有益效果:

31、本说明书实施例中,在接收到客户端发送的写入请求后,先将其中携带的待存储数据存储至缓存空间中,在一段时间内,将写入到缓存空间中的待存储数据进行聚合,并根据分布式存储系统中当前存储对象中无效数据所占用的对象空间,提供给聚合后的待存储数据进行写入,避免了在无效数据回收的过程中需要搬移大量的有效数据来回收存储对象的问题,提升了分布式存储系统的处理效率。

32、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本说明书。



技术特征:

1.一种无效数据回收方法,其特征在于,应用于分布式存储系统的服务端,包括:

2.根据权利要求1所述的方法,其特征在于,在所述获取当前存储对象中无效数据的对象空间之前,还包括:

3.根据权利要求2所述的方法,其特征在于,所述获取当前存储对象中无效数据的对象空间,包括:

4.根据权利要求3所述的方法,其特征在于,所述获取当前存储对象中无效数据的对象空间,还包括:

5.一种无效数据回收装置,其特征在于,应用于分布式存储系统的服务端,包括:

6.根据权利要求5所述的装置,其特征在于,还包括:

7.根据权利要求6所述的装置,其特征在于,所述回收单元,包括:

8.根据权利要求7所述的装置,其特征在于,所述回收单元,还包括:

9.一种服务器,其特征在于,包括收发器、处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器被所述机器可执行指令促使:实现权利要求1-4任一项所述的方法步骤。

10.一种机器可读存储介质,其特征在于,存储有机器可执行指令,在被处理器调用和执行时,所述机器可执行指令促使所述处理器:实现权利要求1-4任一项所述的方法步骤。


技术总结
本说明书提供一种无效数据回收方法及装置,涉及通信技术领域。一种无效数据回收方法,应用于分布式存储系统的服务端,包括:接收客户端发送的写入请求,将写入请求所携带的待存储数据存储至缓存空间;获取当前存储对象中无效数据的对象空间;对待存储数据进行聚合,将聚合后的待存储数据写入到当前存储对象中无效数据的对象空间。通过上述方法,能够提升分布式存储系统的处理效率。

技术研发人员:金朴堃,杨潇
受保护的技术使用者:新华三技术有限公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1825006.html

最新回复(0)