一种数据冷热度识别方法、装置、设备及存储介质与流程

专利2025-02-27  41


本发明涉及数据处理,特别涉及一种数据冷热度识别方法、装置、设备及存储介质。


背景技术:

1、目前,冷热数据识别是分层数据迁移的重要依据,分层即软件系统通过层来隔离不同的关注点,以此应对不同需求的变化,使得这种变化可以独立进行管理,例如由不同性能的存储介质组成的混合存储系统,存储系统的数据冷热分离的方式分层管理。数据迁移包括迁入,即数据从容量层hdd(harddisk drive,机械硬盘)搬入缓存层ssd(solid statedisk,固态硬盘),以及数据淘汰,即数据从缓存层ssd搬迁到容量层hdd。现有技术中,针对混合存储中冷热分层数据的热度识别,通常使用链表挂接的方式做分层块(按照固定块大小把缓存设备划分为若干个块,简称分层块)进行冷热识别。即通过链表挂接所有的分层块来组织块之间的热度关系,链表的表头以及不同类型的链表状态占用了过多的内存;其次通过链表维护了纳秒级别的时间精度,在分层选择淘汰数据的时候,纳秒级别的精度意义不大且增大了系统资源的消耗。由于链表必须按顺序存储,链表在插入时较便捷,但是查找时则比较复杂,且需要耗费较长时间。


技术实现思路

1、有鉴于此,本发明的目的在于提供一种数据冷热度识别方法、装置、设备及介质,能够在保证冷热数据精准识别的前提下,减少内存占用。其具体方案如下:

2、第一方面,本申请公开了一种数据冷热度识别方法,包括:

3、获取预先针对缓存中的数据块创建的热度序列表;

4、通过所述热度序列表存储所述数据块的参数信息,并利用所述热度序列表内的序号表征所述数据块的热度等级,以便在数据迁移时,根据所述热度序列表筛选出目标热度等级的目标数据块进行迁移。

5、可选的,所述通过所述热度序列表存储所述数据块的参数信息,包括:

6、按照热度等级从低到高的顺序对所述热度序列表进行划分,得到低热度值的第一热度序列表和高热度值的第二热度序列表;

7、利用所述第一热度序列表,按照访间时间存储首次写入的第一类数据块的参数信息;

8、利用所述第二热度序列表,按照访间频次存储所述缓存中多次被访问的第二类数据块的参数信息。

9、可选的,所述利用所述热度序列表内的序号表征所述数据块的热度等级,包括:

10、利用所述第一热度序列表内的第一区间序号表征不同的所述第一类数据块的热度等级;其中,访问时间越早对应的热度等级越低,相同热度等级的第一类数据块对应同一个序号;

11、利用所述第二热度序列表内的第二区间序号表征不同的所述第二类数据块的热度等级;其中,访问频次越高对应的热度等级越高。

12、可选的,所述利用所述第二热度序列表,按照访问频次存储所述缓存中多次被访问的第二类数据块的参数信息,包括:

13、若当前系统访问命中的数据块为所述第一类数据块中的第一目标数据块,则将所述第一目标数据块的参数信息从所述第一热度序列表中移动至所述第二热度序列表;

14、若当前系统访问命中的数据块为所述第二类数据块中的第二目标数据块,则根据所述第二目标数据块的被访问频次,调整所述第二目标数据块在所述第二热度序列表中的位置。

15、可选的,所述数据冷热度识别方法,还包括:

16、根据系统访问的访问特征,调整所述第一热度序列表和所述第二热度序列表的表长度;所述访问特征包括频次优先访问和时间优先访问。

17、可选的,所述数据冷热度识别方法,还包括:

18、若所述热度序列表内目标热度等级对应的所有参数信息的数据量大于数据存储量时,对所述目标热度等级以及所述目标热度等级以下的热度等级进行依次降级处理;所述热度序列表内每个热度等级对应的数据存储量为总容量与总热度等级的比值。

19、可选的,所述对所述目标热度等级以及所述目标热度等级以下的热度等级进行依次降级处理,包括:

20、利用epoll的水平触发机制监测所述降级处理,当降级处理的次数达到目标次数后,切出中央处理器;

21、当再次触发epoll事件时,从上次处理节点开始进行降级处理,以便实现中央处理器间歇性执行降级处理。

22、第二方面,本申请公开了一种数据冷热度识别装置,包括:

23、获取模块,用于获取预先针对缓存中的数据块创建的热度序列表;

24、存储模块,用于通过所述热度序列表存储所述数据块的参数信息,并利用所述热度序列表内的序号表征所述数据块的热度等级,以便在数据迁移时,根据所述热度序列表筛选出目标热度等级的目标数据块进行迁移。

25、第三方面,本申请公开了一种电子设备,包括:

26、存储器,用于保存计算机程序;

27、处理器,用于执行所述计算机程序,以实现前述的数据冷热度识别方法。

28、第四方面,本申请公开了一种计算机可读存储介质,用于存储计算机程序;其中计算机程序被处理器执行时实现前述的数据冷热度识别方法。

29、本申请中,获取预先针对缓存中的数据块创建的热度序列表;通过所述热度序列表存储所述数据块的参数信息,并利用所述热度序列表内的序号表征所述数据块的热度等级,以便在数据迁移时,根据所述热度序列表筛选出目标热度等级的目标数据块进行迁移。可见,通过热度序列表直接利用表内序号进行热度等级标识,即将热度存储方式从链表改为基于列表序号的热度等级,避免存储热度值占用太多资源,能够在保证冷热数据精准识别的前提下,减少内存占用。



技术特征:

1.一种数据冷热度识别方法,其特征在于,包括:

2.根据权利要求1所述的数据冷热度识别方法,其特征在于,所述通过所述热度序列表存储所述数据块的参数信息,包括:

3.根据权利要求2所述的数据冷热度识别方法,其特征在于,所述利用所述热度序列表内的序号表征所述数据块的热度等级,包括:

4.根据权利要求3所述的数据冷热度识别方法,其特征在于,所述利用所述第二热度序列表,按照访问频次存储所述缓存中多次被访问的第二类数据块的参数信息,包括:

5.根据权利要求2所述的数据冷热度识别方法,其特征在于,还包括:

6.根据权利要求1至5任一项所述的数据冷热度识别方法,其特征在于,还包括:

7.根据权利要求6所述的数据冷热度识别方法,其特征在于,所述对所述目标热度等级以及所述目标热度等级以下的热度等级进行依次降级处理,包括:

8.一种数据冷热度识别装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括:

10.一种计算机可读存储介质,其特征在于,用于存储计算机程序;其中计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据冷热度识别方法。


技术总结
本申请公开了一种数据冷热度识别方法、装置、设备及存储介质,涉及数据处理技术领域。该方法包括:获取预先针对缓存中的数据块创建的热度序列表;通过所述热度序列表存储所述数据块的参数信息,并利用所述热度序列表内的序号表征所述数据块的热度等级,以便在数据迁移时,根据所述热度序列表筛选出目标热度等级的目标数据块进行迁移。通过热度序列表直接利用表内序号进行热度等级标识,即将热度存储方式从链表改为基于列表序号的热度等级,避免存储热度值占用太多资源,能够在保证冷热数据精准识别的前提下,减少内存占用。

技术研发人员:王正,刘日新
受保护的技术使用者:深信服科技股份有限公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1816611.html

最新回复(0)