本申请涉及流量控制技术领域，特别涉及一种流量控制方法、装置、电子设备和存储介质。
背景技术：
由于外部访问量过大，会对服务器造成很大的压力，甚至发生宕机。当前针对流量的控制方法很多是被动的，比如，当检测到服务器的内存或cpu快用光时，才出现告警，相关人员紧急应对。通常采用简单粗暴的方式，直接把一些访问量高的ip直接禁止，故障溯源难度高，不能够给出一些更详细的指标数据和更加弹性化、个性化、智能化的处理方式。
技术实现要素：
本申请的目的是提供一种流量控制方法、装置、电子设备和存储介质，能够及时的检测到服务器的状态，并对指标值超过预设指标阈值的请求进行拦截，且本申请能够根据统计的指标值来进行处理，能找到故障溯源，即做到有理有据。其具体方案如下：
第一方面，本申请公开了一种流量控制方法，包括：
解析获取到的日志信息，并将解析得到的日志数据发送到kafka消息中间件；
利用flink消费所述kafka消息中间件中的所述日志数据，并根据所述flink的配置参数对所述日志数据进行指标统计；
若存在统计得到的指标值大于所述配置参数中对应的预设指标阈值时，则对统计得到的所述指标值对应的请求进行拦截。
可选的，在利用flink消费所述kafka消息中间件中的所述日志数据之前，还包括：
根据业务需求信息，创建所述flink的配置参数，并将所述配置参数发送至所述kafka消息中间件。
可选的，根据所述flink的配置参数对所述日志数据进行指标统计，包括：
根据所述flink的配置参数中的时间窗口参数，划分时间窗口；
在所述时间窗口内，计算各个ip地址请求访问同一url的指标值。
可选的，所述若存在统计得到的指标值大于所述配置参数中对应的预设指标阈值时，则对统计得到的所述指标值对应的请求进行拦截，包括：
若统计得到访问目标url的指标值大于所述配置参数中所述目标url对应的预设指标阈值时，则根据所述配置参数中所述目标url对应的目标阻拦时间长度，禁止访问所述目标url的ip地址请求在所述目标阻拦时间长度内访问所述目标url。
可选的，所述若存在统计得到的指标值大于所述配置参数中对应的预设指标阈值时，则对统计得到的所述指标值对应的请求进行拦截，包括：
若统计得到的指标值满足在滚动时间窗口内的请求量大于最大请求量、异常状态码占比大于预设异常状态码占比阈值、响应超时时间占比大于预设响应超时时间占比阈值中的至少一项时，则对统计得到的所述指标值对应的请求进行拦截。
可选的，将解析所述日志信息得到的日志数据发送到kafka消息中间件，包括：
根据所述日志信息的格式，解析所述日志信息，将解析得到的ip地址、请求url、请求时间、请求响应时间、响应状态码作为所述日志数据；
将所述日志数据发送到所述kafka消息中间件的主题中。
第二方面，本申请公开了一种流量控制装置，包括：
解析模块，用于解析获取到的日志信息，并将解析得到的日志数据发送到kafka消息中间件；
统计模块，用于利用flink消费所述kafka消息中间件中的所述日志数据，并根据所述flink的配置参数对所述日志数据进行指标统计；
拦截模块，用于若存在统计得到的指标值大于所述配置参数中对应的预设指标阈值时，则对统计得到的所述指标值对应的请求进行拦截。
可选的，还包括：
发送模块，用于根据业务需求信息，创建所述flink的配置参数，并将所述配置参数发送至所述kafka消息中间件。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述流量控制方法的步骤。
第四方面，本申请公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述流量控制方法的步骤。
本申请提供一种流量控制方法，包括：解析获取到的日志信息，并将解析得到的日志数据发送到kafka消息中间件；利用flink消费所述kafka消息中间件中的所述日志数据，并根据所述flink的配置参数对所述日志数据进行指标统计；若存在统计得到的指标值大于所述配置参数中对应的预设指标阈值时，则对统计得到的所述指标值对应的请求进行拦截。
可见，本申请通过利用flink实时流框架对日志数据进行指标统计，flink具有高吞吐量，低时延的特性，能够实时处理大量日志数据，并当统计计算到存在指标值大于对应的预设指标阈值时，对该指标值对应的请求进行拦截。即本申请利用flink实时流框架对日志数据进行指标统计，实时性高，能够及时的检测到服务器的状态，并对指标值超过预设指标阈值的请求进行拦截，且本申请能够根据统计的指标值来进行处理，能找到故障溯源，即做到有理有据，避免了相关技术中只有检测到服务器内存或cpu快用光时，导致服务器宕机，以及简单粗暴将访问量高的ip直接禁止，无法进行故障溯源的缺陷，本申请能够及时响应服务器的异常处理，并能够实现故障溯源，有根据的进行故障处理，更加智能化。本申请同时还提供了一种流量控制装置、一种电子设备和计算机可读存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种流量控制方法的流程图；
图2为本申请实施例所提供的流量控制系统的系统框架示意图；
图3为本申请实施例所提供的一种流量控制装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
当前针对流量的控制方法，很多是被动的。比如，只有检测到服务器的内存或cpu快用光的时候，才出现告警，相关人员紧急应对。通常采用的方式是把一些访问量高的ip直接禁止掉。故障溯源难度高，也不能够给出一些更详细的指标数据和更加弹性化、个性化、智能化的处置方式。基于上述技术问题，本实施例提供一种流量控制方法，能够及时响应服务器的异常处理，并能够实现故障溯源，有根据的进行故障处理，更加智能化，具体请参考图1，图1为本申请实施例所提供的一种流量控制方法的流程图，具体包括：
s101、解析获取到的日志信息，并将解析得到的日志数据发送到kafka消息中间件。
可以理解的是，服务器在提供对外web服务时，用户的请求被记录在日志中，生成日志信息。本实施例并不限定日志信息的具体内容，可以包括ip地址，请求url、请求时间、请求响应时间、响应状态码等信息。本实施例通过解析获取到的日志信息，将解析得到的日志数据发送到kafka消息中间件，其中，kafka是一个开源流处理平台，是一个高吞吐量的分布式发布订阅消息系统，主要处理流数据，可将不同的数据放到不同的主题(topic)中。本实施例并不限定解析得到的日志数据的具体内容，可以包含ip地址，请求url、请求时间、请求响应时间、响应状态码等信息。可以理解的是，日志信息中存储的内容包含日志数据，两者存储的格式存在差异。
本实施例并不限定日志数据的具体内容，可根据实际业务逻辑需求进行获取。在一种具体的实施例中，将解析日志信息得到的日志数据发送到kafka消息中间件，可以包括：
根据日志信息的格式，解析日志信息，将解析得到的ip地址、请求url、请求时间、请求响应时间、响应状态码作为日志数据；
将日志数据发送到kafka消息中间件的主题中。
本实施例并不限定日志信息的具体格式，可以理解的是，不同的web服务中收集到的日志信息的存储格式可能存在差异。本实施例根据具体的日志信息的格式来解析日志信息，得到ip地址、请求url、请求时间、请求响应时间、响应状态码这些字段，并将上述字段作为日志数据发送到kafka消息中间件的主题中。
s102、利用flink消费kafka消息中间件中的日志数据，并根据flink的配置参数对日志数据进行指标统计。
flink是一种实时流框架，具有同时支持高吞吐、低延迟、高性能的特点。本实施例中flink消费kafka消息中间件中的日志数据，并根据flink的配置参数对日志数据进行指标统计。本实施例并不限定进行统计的具体指标，可以是时间窗口内的请求量的统计，可以是异常状态码占比的统计，可以是响应超时时间占比的统计，也可以是同时统计，可根据具体的业务需求进行设定。
本实施例并不限定flink的配置参数所存在的具体位置，可以是存放于kafka消息中间件，也可以存储于服务器的其他位置。在一种具体的实施例中，为了提高指标统计的效率和可靠性，在利用flink消费kafka消息中间件中的日志数据之前，还可以包括：
根据业务需求信息，创建flink的配置参数，并将配置参数发送至kafka消息中间件。
本实施例根据业务需求信息来创建flink的配置参数，并将配置参数存放于kafka消息中间件。本实施例并不限定业务需求信息的具体内容，可根据实际情况进行设定。本实施例也不限定创建的flink的具体配置参数类型，例如，可以包括时间窗口大小、要监测的url、在时间窗口内的最大请求量max_qps(比如，一分钟内最大请求量为10万，超过该数值就会给服务器造成压力)、异常状态码status(请求成功的状态码为200，其他状态码为异常)、异常状态码占比status_ratio(返回异常状态码的数目/总的访问数目，如果异常状态码的占比超过设定阈值，会增加对服务器的压力)、响应超时时间duration(设置一个时间阈值，超过该阈值算是超时，影响服务器效率)、响应超时时间占比duration_ratio(响应超时的数目/总的访问数目)、阻拦时间长度(对ip请求进行阻拦的时间长度)等。本实施例将配置参数存放于kafka消息中间件，使用flink实时流式框架从kafka消息中间件中消费日志数据和配置参数，相对于从服务器中获取配置参数，更加高效，可靠性更强。
本实施例并不限定根据flink的配置参数对日志数据进行指标统计的具体过程。在一种具体的实施例中，根据flink的配置参数对日志数据进行指标统计，可以包括：
根据flink的配置参数中的时间窗口参数，划分时间窗口；
在时间窗口内，计算各个ip地址请求访问同一url的指标值。
本实施例并不限定时间窗口参数的具体大小，可以是1分钟，可以是30分钟，可根据实际需求进行设定。本实施例根据时间窗口参数划分时间窗口，并在时间窗口内，计算各个ip地址请求访问同一url的指标值。本实施例并不限定请求的具体url，用户可根据实际需求进行访问。同时，本实施例并不限定计算的指标值的具体对象，可以是统计在时间窗口内，每一个ip地址请求访问url的最大请求量、异常状态码的占比、响应时间超时占比等指标数据。本实施例也不限定计算的指标值的个数，可以是只统计其中的一项指标，也可以是同时统计其中的几项指标，可根据具体的业务需求进行设定。例如，设置滚动时间窗口(或时间窗口)为1分钟，在一分钟内，统计每一个ip地址请求某一url的最大请求量max_qps、异常状态码的占比、响应时间超时占比的指标值。
s103、若存在统计得到的指标值大于配置参数中对应的预设指标阈值时，则对统计得到的指标值对应的请求进行拦截。
本实施例并不限定当统计到指标值大于对应的预设指标阈值时，对统计得到的指标值对应的请求进行拦截的具体过程。在一种具体的实施例中，若存在统计得到的指标值大于配置参数中对应的预设指标阈值时，则对统计得到的指标值对应的请求进行拦截，可以包括：
若统计得到访问目标url的指标值大于配置参数中目标url对应的预设指标阈值时，则根据配置参数中目标url对应的目标阻拦时间长度，禁止访问目标url的ip地址请求在目标阻拦时间长度内访问目标url。
本实施例并不限定目标url的具体网址，可从要监测的url中选取任一网址，作为目标url。本实施例也不限定配置参数中各个与预设指标阈值的具体大小，例如，可设置在时间窗口(例如1分钟)内的最大请求量max_qps为10万，设置响应超时时间占比对应的预设指标阈值为50％，响应超时时间对应的预设指标阈值为10s等。可以理解的是，本实施例中的目标阻拦时间长度即为禁止访问的时间长度，本实施例并不限定目标阻拦时间长度的具体大小，可以是10分钟，可以是5分钟，不同的指标项可设置不同的目标阻拦时间长度。
本实施例并不限定统计到的指标值大于对应的预设指标阈值的具体满足条件。在一种具体的实施例中，若存在统计得到的指标值大于配置参数中对应的预设指标阈值时，则对统计得到的指标值对应的请求进行拦截，可以包括：
若统计得到的指标值满足在滚动时间窗口内的请求量大于最大请求量、异常状态码占比大于预设异常状态码占比阈值、响应超时时间占比大于预设响应超时时间占比阈值中的至少一项时，则对统计得到的指标值对应的请求进行拦截。
可以理解的是，本实施例中的滚定时间窗口是根据时间窗口参数设定的本实施例中设定进行拦截的条件可以是在滚动时间窗口内的请求量大于最大请求量、异常状态码占比大于预设异常状态码占比阈值、响应超时时间占比大于预设响应超时时间占比阈值中的至少一项时，不需要同时满足其中的2个条件或3个条件时才进行拦截，能够有效的减小服务器异常的机率，提高服务器稳定运行的可靠性。
基于上述技术方案，本实施例利用flink实时流框架对日志数据进行指标统计，实时性高，能够及时的检测到服务器的状态，并对指标值超过预设指标阈值的请求进行拦截，且本申请能够根据统计的指标值来进行处理，能找到故障溯源，即做到有理有据，避免了相关技术中只有检测到服务器内存或cpu快用光时，导致服务器宕机，以及简单粗暴将访问量高的ip直接禁止，无法进行故障溯源的缺陷，本申请能够及时响应服务器的异常处理，并能够实现故障溯源，有根据的进行故障处理，更加智能化。
以下提供一种流量控制系统的具体实施例。图2为本实施例提供的流量控制系统的系统框架示意图，从左到右依次为，解析得到的请求日志即日志数据和flink的配置参数输入到kafka消息中间件不同的主题(topic)中，flink流式处理框架从kafka消息中间件中消费对应的主题来获取配置参数和源源不断产生的请求日志。在flink流式框架中，计算ip地址对请求url的统计指标max_qps、status_ratio、duration_ratio。如果指标中有超过配置参数中对应的预设指标阈值的，则根据设置的拦截时长即目标阻拦时间长度对该ip进行拦截，禁止访问该url。步骤如下：
1、客户请求服务器不同的web服务，会在服务器中产生不同的日志信息。使用日志收集系统flume，把各个地方的web日志收集起来，对日志信息进行解析，提取需要的字段：ip地址、请求url、请求时间、请求响应时间、响应状态码等。把处理后的日志数据输出到kafka消息中间件的主题中。
2、人工配置时间窗口大小即设置时间窗口参数(例如，1分钟)、要监测的url(例，***.com)、在时间窗口内的最大请求量max_qps(例如，1万)、异常状态码status(例，请求成功的状态码为400、若返回500即为异常)、异常状态码占比status_ratio(例如，75％)、响应超时时间duration(例如，10s)、响应超时时间占比duration_ratio(例如，50％)、阻拦时长即目标阻拦时间长度(例如，10分钟)等参数，并输出到kafka中的主题中。
3、使用flink流式处理框架，从kafka消息中间件中消费日志数据和配置参数，并根据设置的时间窗口参数，划分时间窗口。在每一个时间窗口内，计算对每一个ip地址请求url的统计指标max_qps、status_ratio、duration_ratio。
4、如果在时间窗口的计算指标超过了配置参数中的预设指标阈值，则进行拦截操作，禁止该ip地址在设定的时间即目标阻拦时间长度内(比如10分钟)访问该url。
基于上述技术方案，本实施例基于flink流处理框架的强大计算能力，对各种指标的计算非常快(一分钟的时间窗口，几秒内完成计算)，并且同时监控上万个ip的同时请求，实现了对异常问题实时、高效的响应处理。并且可以根据不通的业务配置不同的url和对应的处理方式，实现个性化的操作。同时，对其他业务也不影响，避免了一刀切拦截的粗暴方式。还能够根据异常状态码、响应超时等计算指标进行拦截，做到有理有据，更加的智能化。
下面对本申请实施例提供的一种流量控制装置进行介绍，下文描述的流量控制装置与上文描述的流量控制方法可相互对应参照，相关模块均设置于中，参考图3，图3为本申请实施例所提供的一种流量控制装置的结构示意图，包括：
在一些具体的实施例中，具体包括：
解析模块301，用于解析获取到的日志信息，并将解析得到的日志数据发送到kafka消息中间件；
统计模块302，用于利用flink消费kafka消息中间件中的日志数据，并根据flink的配置参数对日志数据进行指标统计；
拦截模块303，用于若存在统计得到的指标值大于配置参数中对应的预设指标阈值时，则对统计得到的指标值对应的请求进行拦截。
在一些具体的实施例中，还包括：
发送模块，用于根据业务需求信息，创建flink的配置参数，并将配置参数发送至kafka消息中间件。
在一些具体的实施例中，统计模块302，包括：
划分单元，用于根据flink的配置参数中的时间窗口参数，划分时间窗口；
计算单元，用于在时间窗口内，计算各个ip地址请求访问同一url的指标值。
在一些具体的实施例中，拦截模块303，包括：
禁止单元，用于若统计得到访问目标url的指标值大于配置参数中目标url对应的预设指标阈值时，则根据配置参数中目标url对应的目标阻拦时间长度，禁止访问目标url的ip地址请求在目标阻拦时间长度内访问目标url。
在一些具体的实施例中，拦截模块303，包括：
拦截单元，用于若统计得到的指标值满足在滚动时间窗口内的请求量大于最大请求量、异常状态码占比大于预设异常状态码占比阈值、响应超时时间占比大于预设响应超时时间占比阈值中的至少一项时，则对统计得到的指标值对应的请求进行拦截。
在一些具体的实施例中，解析模块301，包括：
解析单元，用于根据日志信息的格式，解析日志信息，将解析得到的ip地址、请求url、请求时间、请求响应时间、响应状态码作为日志数据；
发送单元，用于将日志数据发送到kafka消息中间件的主题中。
由于流量控制装置部分的实施例与流量控制方法部分的实施例相互对应，因此流量控制装置部分的实施例请参见流量控制方法部分的实施例的描述，这里暂不赘述。
下面对本申请实施例提供的一种电子设备进行介绍，下文描述的电子设备与上文描述的流量控制方法可相互对应参照。
本申请还公开一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上述流量控制方法的步骤。
由于电子设备部分的实施例与流量控制方法部分的实施例相互对应，因此电子设备部分的实施例请参见流量控制方法部分的实施例的描述，这里暂不赘述。
下面对本申请实施例提供的一种计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的流量控制方法可相互对应参照。
本申请还公开一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述流量控制方法的步骤。
由于计算机可读存储介质部分的实施例与流量控制方法部分的实施例相互对应，因此计算机可读存储介质部分的实施例请参见流量控制方法部分的实施例的描述，这里暂不赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种流量控制方法、装置、电子设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
1.一种流量控制方法，其特征在于，包括：
解析获取到的日志信息，并将解析得到的日志数据发送到kafka消息中间件；
利用flink消费所述kafka消息中间件中的所述日志数据，并根据所述flink的配置参数对所述日志数据进行指标统计；
若存在统计得到的指标值大于所述配置参数中对应的预设指标阈值时，则对统计得到的所述指标值对应的请求进行拦截。
2.根据权利要求1所述的流量控制方法，其特征在于，在利用flink消费所述kafka消息中间件中的所述日志数据之前，还包括：
根据业务需求信息，创建所述flink的配置参数，并将所述配置参数发送至所述kafka消息中间件。
3.根据权利要求1所述的流量控制方法，其特征在于，根据所述flink的配置参数对所述日志数据进行指标统计，包括：
根据所述flink的配置参数中的时间窗口参数，划分时间窗口；
在所述时间窗口内，计算各个ip地址请求访问同一url的指标值。
4.根据权利要求1所述的流量控制方法，其特征在于，所述若存在统计得到的指标值大于所述配置参数中对应的预设指标阈值时，则对统计得到的所述指标值对应的请求进行拦截，包括：
若统计得到访问目标url的指标值大于所述配置参数中所述目标url对应的预设指标阈值时，则根据所述配置参数中所述目标url对应的目标阻拦时间长度，禁止访问所述目标url的ip地址请求在所述目标阻拦时间长度内访问所述目标url。
5.根据权利要求1所述的流量控制方法，其特征在于，所述若存在统计得到的指标值大于所述配置参数中对应的预设指标阈值时，则对统计得到的所述指标值对应的请求进行拦截，包括：
若统计得到的指标值满足在滚动时间窗口内的请求量大于最大请求量、异常状态码占比大于预设异常状态码占比阈值、响应超时时间占比大于预设响应超时时间占比阈值中的至少一项时，则对统计得到的所述指标值对应的请求进行拦截。
6.根据权利要求1所述的流量控制方法，其特征在于，将解析所述日志信息得到的日志数据发送到kafka消息中间件，包括：
根据所述日志信息的格式，解析所述日志信息，将解析得到的ip地址、请求url、请求时间、请求响应时间、响应状态码作为所述日志数据；
将所述日志数据发送到所述kafka消息中间件的主题中。
7.一种流量控制装置，其特征在于，包括：
解析模块，用于解析获取到的日志信息，并将解析得到的日志数据发送到kafka消息中间件；
统计模块，用于利用flink消费所述kafka消息中间件中的所述日志数据，并根据所述flink的配置参数对所述日志数据进行指标统计；
拦截模块，用于若存在统计得到的指标值大于所述配置参数中对应的预设指标阈值时，则对统计得到的所述指标值对应的请求进行拦截。
8.根据权利要求7所述的流量控制装置，其特征在于，还包括：
发送模块，用于根据业务需求信息，创建所述flink的配置参数，并将所述配置参数发送至所述kafka消息中间件。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述流量控制方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述流量控制方法的步骤。
技术总结