日志查询方法、装置、电子设备、存储介质及程序产品与流程

专利2026-02-12  0


本公开涉及数据处理,具体涉及分布式存储、日志生成、日志存储、日志全链路追踪等技术,尤其涉及一种日志查询方法、装置、电子设备、计算机可读存储介质及计算机程序产品。


背景技术:

1、目前业界流行分布式日志链路追踪的存储方案一般采用elasticsearch(一种分布式免费开源搜索和分析引擎)、clickhouse(一种用于联机分析的列式数据库管理系统)、hbase(一种分布式的、面向列的开源数据库)、hdfs(hadoop distributed file system,一种分布式文件系统)、mongodb(一种基于分布式文件存储的数据库)、tsdb(time seriesdatabase,一种用于存储、处理和分析时间序列数据)等,虽然这些存储介质满足业务大量数据存储、查询时效性这些指标,但是面临存储介质昂贵,还需要依赖额外的日志消费队列来消费、处理日志入库,对于普通规模的项目,难以承担成本。

2、随着业务日志数量的膨胀,日志的队列成本、存储成本仍然是不可忽视的问题。


技术实现思路

1、本公开实施例提出了一种日志查询方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

2、第一方面,本公开实施例提出了一种日志查询方法,包括:从接收到的日志查询请求中提取出目标跟踪编号;根据目标跟踪编号确定目标日志所在的目标服务;从部署目标服务的服务提供终端的本地存储空间中,获取与目标跟踪编号对应的目标日志;其中,每个服务均通过预设的跟踪工具包将调用时的使用过程信息以附加有具有唯一性的跟踪编号的日志形式存储至相应的服务提供终端的本地存储空间中;将目标日志作为查询结果返回日志查询请求的请求发起终端。

3、第二方面,本公开实施例提出了一种日志查询装置,包括:跟踪编号提取单元,被配置成从接收到的日志查询请求中提取出目标跟踪编号;目标服务确定单元,被配置成根据目标跟踪编号确定目标日志所在的目标服务;目标日志获取单元,被配置成从部署目标服务的服务提供终端的本地存储空间中,获取与目标跟踪编号对应的目标日志;其中,每个服务均通过预设的跟踪工具包将调用时的使用过程信息以附加有具有唯一性的跟踪编号的日志形式存储至相应的服务提供终端的本地存储空间中;查询结果返回单元,被配置成将目标日志作为查询结果返回日志查询请求的请求发起终端。

4、第三方面,本公开实施例提供了一种电子设备,该电子设备包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,该指令被至少一个处理器执行,以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的日志查询方法。

5、第四方面,本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的日志查询方法。

6、第五方面,本公开实施例提供了一种包括计算机程序的计算机程序产品,该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式描述的日志查询方法的步骤。

7、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。



技术特征:

1.一种日志查询方法,包括:

2.根据权利要求1所述的方法,其中,所述根据所述目标跟踪编号确定目标日志所在的目标服务,包括:

3.根据权利要求1所述的方法,其中,所述日志的生成过程包括:

4.根据权利要求3所述的方法,其中,所述控制被请求调用的服务通过所述跟踪工具包将所述编号附加日志压缩后存储在相应的服务提供终端的本地存储空间中,包括:

5.根据权利要求3所述的方法,其中,所述控制被请求调用的服务通过所述跟踪工具包将所述编号附加日志压缩后存储在相应的服务提供终端的本地存储空间中,包括:

6.根据权利要求3所述的方法,其中,所述控制被请求调用的服务通过所述跟踪工具包将被调用参数按预设的跟踪编号生成需求生成具有唯一性的跟踪编号,包括:

7.根据权利要求6所述的方法,其中,所述跟踪编号生成需求包括:依次生成的跟踪编号应当有序递增,所述控制被请求调用的服务通过所述跟踪工具包以雪花算法将包括服务ip、端口号和被请求调用时间在内的被调用参数按所述跟踪编号生成需求生成具有唯一性的跟踪编号,包括:

8.根据权利要求7所述的方法,其中,以所述雪花算法生成的跟踪编号为128位的字符串,所述字符串的0号位为保留位、1号位至63位为纳秒时间戳、64位至79位为递增序列、80位至111位为ipv4地址、112位至127位为端口号。

9.根据权利要求5所述的方法,其中,所述获取与所述目标跟踪编号对应的目标日志,包括:

10.根据权利要求1-9任一项所述的方法,还包括:

11.一种日志查询装置,包括:

12.根据权利要求11所述的装置,其中,所述目标服务确定单元被进一步配置成:

13.根据权利要求11所述的装置,还包括被配置成生成所述日志的日志生成单元,所述日志生成单元包括:

14.根据权利要求13所述的装置,其中,所述日志存储子单元被进一步配置成:

15.根据权利要求13所述的装置,其中,所述日志存储子单元被进一步配置成:

16.根据权利要求13所述的装置,其中,所述跟踪编号生成单元包括:

17.根据权利要求16所述的方法,其中,所述跟踪编号生成需求包括:依次生成的跟踪编号应当有序递增,所述跟踪编号生成子单元被进一步配置成:

18.根据权利要求17所述的装置,其中,以所述雪花算法生成的跟踪编号为128位的字符串,所述字符串的0号位为保留位、1号位至63位为纳秒时间戳、64位至79位为递增序列、80位至111位为ipv4地址、112位至127位为端口号。

19.根据权利要求16-18任一项所述的装置,其中,所述目标日志获取单元被进一步配置成:

20.根据权利要求11-15任一项所述的装置,还包括:

21.一种电子设备,包括:

22.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的日志查询方法。

23.一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现根据权利要求1-10中任一项所述日志查询方法的步骤。


技术总结
本公开提供了一种日志查询方法、装置、电子设备、存储介质及程序产品,涉及分布式存储、日志生成、日志存储、日志全链路追踪等技术。该方法包括:从日志查询请求中提取出目标跟踪编号;根据目标跟踪编号确定目标日志所在的目标服务;从部署目标服务的服务提供终端的本地存储空间中,获取与目标跟踪编号对应的目标日志,每个服务均通过预设的跟踪工具包将调用时的使用过程信息以附加有具有唯一性的跟踪编号的日志形式存储至相应的服务提供终端的本地存储空间中;将目标日志作为查询结果返回日志查询请求的请求发起终端。该方法将各个服务因被调用所产生的日志都直接存储在部署服务提供终端的本地存储空间中,进而得以充分降低了实现日志查询的成本。

技术研发人员:刘浩,曾浩浩
受保护的技术使用者:百度在线网络技术(北京)有限公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1827470.html

最新回复(0)