一种日志处理方法、计算机程序产品、设备及介质与流程

专利2025-03-31  9


本发明涉及计算机,特别涉及一种日志处理方法、计算机程序产品、设备及介质。


背景技术:

1、目前,一般将服务器等系统的运行重要日志存储在闪存中,但由于闪存容量有限,导致大量运行日志在存储过程中被覆盖丢失。当服务器发生故障,可能因为存储的运行日志信息太少,而不能及时定位故障和还原现场,给故障分析带来了不便。此外,由于存储的日志信息过少,在进行系统监控和性能优化时,也显得极难开展。

2、因此,如何提高系统运行日志的存储量和可靠性,是本领域技术人员需要解决的问题。


技术实现思路

1、有鉴于此,本发明的目的在于提供一种日志处理方法、计算机程序产品、设备及介质,以提高系统运行日志的存储量和可靠性。其具体方案如下:

2、第一方面,本发明提供了一种日志处理方法,包括:

3、收集实时生成的日志数据;

4、将所述日志数据暂存至预先申请的缓存区;

5、在达到日志落盘条件时确定多个可用硬盘;

6、检测各个可用硬盘中是否存在日志管理结构信息;其中,各个可用硬盘中的日志管理结构信息包括:当前盘是否写满标志位、当前盘中的下一个可写逻辑块以及当前盘中每个逻辑块已存储的数据量;

7、若各个可用硬盘中存在日志管理结构信息,则根据各个可用硬盘中的日志管理结构信息,将所述缓存区中的日志数据写入各个可用硬盘中的日志管理结构信息指示的下一个可写逻辑块,并更新各个可用硬盘中的日志管理结构信息记录的当前盘是否写满标志位、当前盘中的下一个可写逻辑块以及当前盘中每个逻辑块已存储的数据量。

8、另一方面,所述日志落盘条件为:所述缓存区被写满,或达到日志落盘的定时时间点,或系统异常掉电;

9、相应地,在达到日志落盘条件时确定多个可用硬盘,包括:

10、在所述缓存区被写满时确定多个可用硬盘;或在达到日志落盘的定时时间点时确定多个可用硬盘;在系统异常掉电时确定多个可用硬盘。

11、另一方面,确定多个可用硬盘,包括:

12、查询系统中的各个硬盘的盘信息;所述盘信息包括:盘是否运行正常、盘剩余容量、盘总容量和盘基地址;

13、根据各个硬盘的盘信息选择多个可用硬盘。

14、另一方面,各个硬盘被划分为多个大小相等的逻辑块,单一逻辑块的空间大小不小于所述缓存区的空间大小。

15、另一方面,将所述缓存区中的日志数据写入各个可用硬盘中的日志管理结构信息指示的下一个可写逻辑块,包括:

16、通过内存管理单元查询各个可用硬盘中的日志管理结构信息指示的下一个可写逻辑块对应的盘物理地址;

17、将所述缓存区中的日志数据写入相应盘物理地址。

18、另一方面,还包括:

19、若任意可用硬盘中不存在日志管理结构信息,则在当前可用硬盘中创建日志管理结构信息后,根据当前可用硬盘中的日志管理结构信息,将所述缓存区中的日志数据写入当前可用硬盘中的日志管理结构信息指示的下一个可写逻辑块,并更新当前可用硬盘中的日志管理结构信息记录的当前盘是否写满标志位、当前盘中的下一个可写逻辑块以及当前盘中每个逻辑块已存储的数据量。

20、另一方面,还包括:

21、若任意可用硬盘中的日志管理结构信息指示当前盘已写满,则擦除当前可用硬盘中存储数据的时间最久的逻辑块;

22、将被擦除的逻辑块作为当前可用硬盘中的日志管理结构信息指示的下一个可写逻辑块,并更新当前可用硬盘中的日志管理结构信息记录的当前盘是否写满标志位以及当前盘中每个逻辑块已存储的数据量,根据当前可用硬盘中的日志管理结构信息,将所述缓存区中的日志数据写入当前可用硬盘中的日志管理结构信息指示的下一个可写逻辑块,并更新当前可用硬盘中的日志管理结构信息记录的当前盘是否写满标志位、当前盘中的下一个可写逻辑块以及当前盘中每个逻辑块已存储的数据量。

23、另一方面,还包括:

24、通过预设日志查询接口查询各个硬盘中的日志管理结构信息;

25、对比各个硬盘中的日志管理结构信息,以确定存储数据量最大的硬盘;

26、读取存储数据量最大的硬盘中的日志数据,以进行日志分析。

27、另一方面,对比各个硬盘中的日志管理结构信息,以确定存储数据量最大的硬盘,包括:

28、对比各个硬盘中的日志管理结构信息记录的下一个可写逻辑块的标识地址,以确定标识地址最大的下一个可写逻辑块;

29、将标识地址最大的下一个可写逻辑块所在的硬盘作为存储数据量最大的硬盘。

30、另一方面,还包括:

31、通过预设日志查询接口查询各个硬盘中的日志数据;

32、读取各个硬盘中的日志数据后,对读取的所有日志数据进行合并操作和去重操作,得到合并去重结果;

33、对所述合并去重结果进行日志分析。

34、另一方面,收集实时生成的日志数据,包括:

35、对实时生成的原始日志数据进行过滤;

36、收集过滤得到的日志数据。

37、另一方面,将所述日志数据暂存至预先申请的缓存区之前,还包括:

38、将所述日志数据转换为统一的目标数据格式,并添加日志时间戳和事件类型。

39、另一方面,本发明提供了一种电子设备,包括:

40、存储器,用于存储计算机程序;

41、处理器,用于执行所述计算机程序,以实现前述公开的日志处理方法。

42、另一方面,本发明提供了一种非易失性存储介质,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现前述公开的日志处理方法。

43、另一方面,本发明提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现前述公开的日志处理方法的步骤。

44、通过以上方案可知,本发明提供了一种日志处理方法,包括:收集实时生成的日志数据;将所述日志数据暂存至预先申请的缓存区;在达到日志落盘条件时确定多个可用硬盘;检测各个可用硬盘中是否存在日志管理结构信息;其中,各个可用硬盘中的日志管理结构信息包括:当前盘是否写满标志位、当前盘中的下一个可写逻辑块以及当前盘中每个逻辑块已存储的数据量;若各个可用硬盘中存在日志管理结构信息,则根据各个可用硬盘中的日志管理结构信息,将所述缓存区中的日志数据写入各个可用硬盘中的日志管理结构信息指示的下一个可写逻辑块,并更新各个可用硬盘中的日志管理结构信息记录的当前盘是否写满标志位、当前盘中的下一个可写逻辑块以及当前盘中每个逻辑块已存储的数据量。

45、可见,本发明的有益效果为:将实时生成的日志数据从缓存区转存至多个硬盘,实现了同一日志的多备份存储,可以提高日志存储的可靠性、数据量、时效性和容错率,即使是程序故障导致系统死机,日志查看也不受影响;同时,每个硬盘中设有日志管理结构信息,其中记录有当前盘是否写满标志位、当前盘中的下一个可写逻辑块以及当前盘中每个逻辑块已存储的数据量,由此能够及时标定日志写入位置,提高日志落盘效率,能够为系统故障分析和性能优化提供更多的数据支持。

46、相应地,本发明提供的一种日志处理计算机程序产品、设备及介质,也同样具有上述技术效果。


技术特征:

1.一种日志处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述日志落盘条件为:所述缓存区被写满,或达到日志落盘的定时时间点,或系统异常掉电;

3.根据权利要求1所述的方法,其特征在于,确定多个可用硬盘,包括:

4.根据权利要求1所述的方法,其特征在于,各个硬盘被划分为多个大小相等的逻辑块,单一逻辑块的空间大小不小于所述缓存区的空间大小。

5.根据权利要求1所述的方法,其特征在于,将所述缓存区中的日志数据写入各个可用硬盘中的日志管理结构信息指示的下一个可写逻辑块,包括:

6.根据权利要求1所述的方法,其特征在于,还包括:

7.根据权利要求1所述的方法,其特征在于,还包括:

8.根据权利要求1至7任一项所述的方法,其特征在于,还包括:

9.根据权利要求8所述的方法,其特征在于,对比各个硬盘中的日志管理结构信息,以确定存储数据量最大的硬盘,包括:

10.根据权利要求1至7任一项所述的方法,其特征在于,还包括:

11.根据权利要求1至7任一项所述的方法,其特征在于,收集实时生成的日志数据,包括:

12.根据权利要求1至7任一项所述的方法,其特征在于,将所述日志数据暂存至预先申请的缓存区之前,还包括:

13.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1至12任一项所述的方法。

14.一种电子设备,其特征在于,包括:

15.一种非易失性存储介质,其特征在于,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至12任一项所述的方法。


技术总结
本发明公开了计算机技术领域内的一种日志处理方法、计算机程序产品、设备及介质。本发明将实时生成的日志数据从缓存区转存至多个硬盘,实现了同一日志的多备份存储,可以提高日志存储的可靠性、数据量、时效性和容错率,即使是程序故障导致系统死机,日志查看也不受影响;同时,每个硬盘中设有日志管理结构信息,其中记录有当前盘是否写满标志位、当前盘中的下一个可写逻辑块以及当前盘中每个逻辑块已存储的数据量,由此能够及时标定日志写入位置,提高日志落盘效率,能够为系统故障分析和性能优化提供更多的数据支持。

技术研发人员:宋莎莎,王磊
受保护的技术使用者:山东云海国创云计算装备产业创新中心有限公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1817905.html

最新回复(0)