利用大小固定且可变长度数据块来执行源端重复数据删除的制作方法

专利2025-12-16  15



背景技术:

1、存储系统可以备份来自源系统的数据,但是与备份相关联的约束(诸如网络速度和/或待备份数据量(例如,25tb))可能阻止在指定时间量内(例如,3小时至5小时)内完成备份。源系统可以通过将备份数据分块为可变长度数据块、为可变长度数据块生成对应的数据块标识符并将对应的数据块标识符发送到存储系统来减少被备份的数据量以使得备份能够在指定时间量内完成。作为响应,存储系统可以根据对应的数据块标识符来确定存储系统当前未存储哪些可变长度数据块,并向源系统提供与存储系统当前未存储的数据块相对应的一个或多个数据块标识符的列表。存储系统随后可以向存储系统提供与包括在列表中的一个或多个数据块标识符相对应的一个或多个数据块。

2、尽管这可以减少被备份的数据量,但是将备份数据分块为可变长度数据块并为可变长度数据块生成对应的数据块标识符的步骤是源系统的高cpu密集型过程。对于具有少量数据更改(例如,小于数据更改阈值量)的大量数据(例如,25tb),备份数据的总时间可能比源系统仅发送待备份数据而不对数据进行分块并且不为数据块生成对应的数据块标识符的情况下的总时间更长。


技术实现思路



技术特征:

1.一种方法,其包括:

2.如权利要求1所述的方法,其中与所述一个或多个对象中的对象相关联的所述范围信息包括一个或多个范围块标识符、所述一个或多个范围块标识符中的每一者的对应偏移量以及与所述一个或多个范围块标识符中的每一者的范围块标识符相关联的一个或多个数据块的对应长度。

3.如权利要求2所述的方法,其中所述对象的所述范围块标识符对应于所述对象的特定范围。

4.如权利要求1至3中任一项所述的方法,其中所述一个或多个缺失范围中的缺失范围对应于所述一个或多个对象中的先前未备份的对象的一部分。

5.如权利要求1至4中任一项所述的方法,其中确定与所述一个或多个对象相关联的所述一个或多个缺失范围包括确定所述接收到的范围信息未覆盖所述一个或多个缺失范围。

6.如权利要求1至5中任一项所述的方法,其中所述一个或多个失配范围中的失配范围对应于所述一个或多个对象中的具有当前范围块标识符的对象的一部分,所述当前范围块标识符与和所述对象的所述部分相对应的接收到的范围块标识符不匹配。

7.如权利要求1至6中任一项所述的方法,其中确定与所述一个或多个对象相关联的所述一个或多个失配范围包括将与所述对象的一部分相关联的对应范围块标识符与和所述对象的所述部分相关联的当前范围块标识符进行比较。

8.如权利要求1至7中任一项所述的方法,其还包括将与所述一个或多个确定范围相关联的所述数据分块为所述多个可变长度数据块。

9.如权利要求1至8中任一项所述的方法,其还包括生成与所述多个可变长度数据块相关联的所述多个数据块标识符。

10.如权利要求1至9中任一项所述的方法,其中与所述一个或多个对象中的对象相关联的所述范围信息包括一个或多个数据块标识符,并且其中被提供给所述存储系统的与所述多个可变长度数据块相关联的所述多个数据块标识符包括未包括在所述范围信息中的所述一个或多个数据块标识符中的数据块标识符。

11.如权利要求1至10中任一项所述的方法,其中所述存储系统将与所述多个可变长度数据块相关联的所述多个数据块标识符与包括在块元数据数据结构中的第二多个数据块标识符进行比较,所述块元数据数据结构标识存储在与所述存储系统相关联的所述存储装置中的多个数据块。

12.如权利要求11所述的方法,其中响应于确定与可变长度数据块相关联的块标识符未包括在所述块元数据数据结构中,所述存储系统在所述响应中包括与所述可变长度数据块相关联的所述数据块标识符。

13.如权利要求12所述的方法,其中响应于确定与可变长度数据块相关联的块标识符包括在所述块元数据数据结构中,所述存储系统从所述响应中排除与所述可变长度数据块相关联的所述数据块标识符。

14.一种计算机程序产品,其体现在非暂时性计算机可读介质中并包括计算机指令,所述计算机指令在由一个或多个处理器执行时使所述一个或多个处理器执行如权利要求1至13中任一项所述的方法。

15.一种系统,其包括:


技术总结
从存储系统接收与一个或多个对象相关联的范围信息。基于接收到的范围信息来确定与所述一个或多个对象相关联的一个或多个缺失范围和/或一个或多个失配范围。向所述存储系统提供与包括在与所述一个或多个对象相关联的所述一个或多个确定范围中的多个可变长度数据块相关联的多个数据块标识符。从所述存储系统接收响应,所述响应用于在所述多个可变长度数据块中标识尚未存储在与所述存储系统相关联的存储装置中的一个或多个可变长度数据块。向所述存储系统提供所标识的一个或多个可变长度数据块的内容。

技术研发人员:阿普尔夫·古普塔,曼达尔·苏雷什·奈克,邱志欢,古鲁纳拉亚南·纳加苏布拉马尼安,阿尼尔班·米特拉
受保护的技术使用者:凝聚力公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1825461.html

最新回复(0)