本发明涉及数据信息监控,特别涉及一种三方数据信息平台的前台数据监控方法及系统。
背景技术:
1、随着各个行业对大数据的认识不断加深,大数据的战略意义及重要性也在不断的展现,而战略的完成度则大大的依赖于产品的稳定性。随着产品的多元化逐渐体现,传统的数据库监控将无法及时发现系统运行过程中潜在的问题,容易造成数据库数据丢失,给企业带来影响,而且数据复杂和多元增加了运维人员的工作,导致监控不全面,效率低下等问题。为了更好地巩固产品的稳定性,需要将相关业务数据导入可视化的监控系统,通过不同的指标和数据得出相应的结论,从而在可控的时间范围内,超前的找出问题并解决问题。
技术实现思路
1、本发明提供一种三方数据信息平台的前台数据监控方法及系统,通过对不同的指标和数据进行分析,及时有效定位事故数据,便于超前的找出问题并解决问题。
2、一种三方数据信息平台的前台数据监控方法,包括:
3、s1:采集三方数据平台对于前台数据的数据源子分;
4、s2:计算所述数据源子分在五大维度指标下的指标取值;
5、其中,所述五大维度指标包括评分调用量、评分均分、评分分位点、评分累积分布以及评分群体稳定性指标;
6、s3:基于所述在五大维度指标下的指标取值,对所述五大维度指标进行可视化处理,进行可视化展示;
7、包括:对所述数据源子分按照客户机构进行划分,得到多组第一子数据源子分,并得到多组第一子数据源子分的五大维度指标值,并基于所述五大维度指标值进行第一可视化展示;
8、对所述数据源子分按照产品版本进行划分,得到多组第二子数据源子分,并得到多组第二子数据源子分的五大维度指标值,并基于所述五大维度指标值进行第二可视化展示;
9、s4:基于可视化展示结果,以预设单位为筛选器,获取所述数据源子分的变化信息,并根据所述变化信息,定位事故数据。
10、s1之后,还包括:
11、对所述数据源子分进行遍历分析,提取出存在异常的数据源子分;
12、对存在异常的数据源子分进行映射处理,得到正常的数据源子分。
13、s2中,计算所述数据源子分在五大维度指标下的指标取值包括:
14、所述五大维度指标包括评分调用量、评分均分、评分分位点、评分累积分布以及评分群体稳定性指标;
15、其中,所述评分调用量为每家客户机构对不同产品及版本所有调用的总和值,所述评分均分为正常打分的数据源子分的均值,所述评分分位点为正常打分的数据源子分的最小值、5%分位点、10%分位点、25%分位点、50%分位点、75%分位点、90%分位点和最大值,所述评分累积分布为各个数据源有效调用的子分的概率分布,评分群体稳定性指标为衡量实际子分与预设子分之间偏差大小的指标。
16、s3中,基于所述在五大维度指标下的指标取值,对所述五大维度指标进行可视化处理,进行可视化展示,包括:
17、对所述数据源子分按照客户机构进行划分,得到多组第一子数据源子分,并得到多组第一子数据源子分的五大维度指标值,并基于所述五大维度指标值进行第一可视化展示;
18、对所述数据源子分按照产品版本进行划分,得到多组第二子数据源子分,并得到多组第二子数据源子分的五大维度指标值,并基于所述五大维度指标值进行第二可视化展示。
19、对所述五大维度指标进行可视化处理,进行可视化展示,还包括:
20、获取所述第一可视化展示的第一机构特征,并在所述第一机构特征下确定第一产品特征;
21、获取所述第二可视化展示的第二客户特征,并在所述第二客户特征下确定第二机构特征;
22、将所述第一机构特征和第二机构特征进行第一匹配,得到第一匹配结果;
23、将所述第一产品特征和第二产品特征进行第二匹配,得到第二匹配结果;
24、基于所述第一匹配结果和第二匹配结果,将所述第一可视化展示和第二可视化展示进行融合,得到综合可视化展示。
25、所述综合可视化展示的展示框架构建方式如下:
26、对所述数据源子分在五大维度指标下的指标取值分别按照客户机构和产品版本进行分析划分,得到第一取值集合和第二取值集合;
27、基于所述客户机构的属性对所述第一取值集合进行第一分组,按照时间单位对所述第一取值集合进行第二分组;
28、基于所述产品版本的属性,对所述第二取值集合进行第三分组,按照时间单位对所述第二取值集合进行第四分组;
29、分别确定所述五大维度预设指标对应的可视化显示格式,并确定所述可视化显示格式对应的可视化算法;
30、利用所述可视化算法对所述第一分组、第二分组、第三分组和第四分组进行编译,得到数据可视化信息;
31、获取可视化展示界面中每个区域位置的位置信息;
32、从模板库中获取显示模板,并基于所述显示模板,对所述数据可视化信息和位置信息进行全面匹配,得到多组配置资源;
33、根据用户的可视化要求,从所述数据可视化信息新选取目标信息,并将所述目标信息和位置信息进行匹配,得到目标可视化展示信息;
34、并从所述多组配置资源中选取与所述目标可视化展示信息匹配的目标配置资源;
35、利用所述目标配置资源,构建所述综合可视化展示的展示框架。
36、s4中,基于可视化展示结果,以预设单位为筛选器,获取所述数据源子分的变化信息,包括:
37、获取用户的监控需求,根据所述监控需求,确定一级分类名称和二级分类名称,并基于所述一级分类名称和二级分类名称,从所述可视化展示结果中筛选得到初始展示结果;
38、对所述监控需求进行分析,确定对所述预设单位的单位指标;
39、根据所述单位指标中的三方数据平台单位、产品服务编码单位、产品版本单位和客户机构单位对所述一级分类名称和二级分类名称进行验证,判断所述初始展示结果是否满足所述监控需求;
40、若是,基于所述单位指标,对所述初始展示结果进行位置标记,并根据位置标记结果,对位置标记处进行筛选器标注,得到筛选器标注结果;
41、否则,重新进行所述一级分类名称和二级分类名称的确定;
42、按照所述位置标记结果和筛选器标注结果,对所述初始展示结果进行动态调整,得到目标展示结果;
43、基于所述目标展示结果的单位指标中的时间单位和调用量单位,对同一显示格式的展示结果进行比较,得到对应的比较结果,根据所述比较结果,获取数据源子分的局部变化信息;
44、对不同显示格式下的比较结果进行同级比较,获取数据源子分的各个局部之间的变化关系信息;
45、基于所述局部变化信息和变化关系信息,得到对所述数据源子分的变化信息。
46、s4中,根据所述变化信息,定位事故数据,包括:
47、根据所述变化信息,获取所述可视化展示结果中的变化幅度大于预设幅度对应的异常展示结果;
48、获取所述异常展示结果的时间长度,并获取与所述异常展示结果对应的目标数据源子分;
49、按照所述时间长度将所述目标数据源子分划分为当前数据源子分和历史数据源子分;
50、基于所述当前数据源子分和历史数据源子分在五大维度下的取值,得到所述目标数据源子分的子分异常值;
51、判断所述子分异常值是否大于预设子分异常值;
52、若是,确定所述当前数据源子分的子分存在异常;
53、否则,确定所述当前数据源子分正常;
54、在确定当前数据源子分的子分存在异常后,获取所述当前数据源子分对应的当前数据源,并获取所述历史数据源子分对应的历史数据源;
55、基于所述当前数据源和历史数据源,确定所述当前数据源是否异常,若是,定位所述当前数据源,作为事故数据。
56、基于所述当前数据源和历史数据源,确定所述当前数据源是否异常,若是,定位所述当前数据源,作为事故数据,包括:
57、对所述当前数据源按照预设数据维度进行划分,得到第一多维度数据,并根据所述第一多维度数据构建第一向量;
58、对所述历史数据源按照预设数据维度进行划分,得到第二多维度数据,并根据所述第二多维度数据构建第二向量;
59、基于所述第一向量和第二向量之间的相似度取值;
60、若所述相似度取值小于预设相似度;
61、确定所述当前数据源存在异常,并定位所述当前数据源,作为事故数据;
62、否则,确定所述当前数据源正常。
63、一种三方数据信息平台的前台数据监控系统,包括:
64、采集模块,用于采集三方数据平台对于前台数据的数据源子分;
65、维度指标模块,用于计算所述数据源子分在五大维度指标下的指标取值;
66、其中,所述五大维度指标包括评分调用量、评分均分、评分分位点、评分累积分布以及评分群体稳定性指标;
67、可视化展示模块,用于基于所述在五大维度指标下的指标取值,对所述五大维度指标进行可视化处理,进行可视化展示;
68、包括:对所述数据源子分按照客户机构进行划分,得到多组第一子数据源子分,并得到多组第一子数据源子分的五大维度指标值,并基于所述五大维度指标值进行第一可视化展示;
69、对所述数据源子分按照产品版本进行划分,得到多组第二子数据源子分,并得到多组第二子数据源子分的五大维度指标值,并基于所述五大维度指标值进行第二可视化展示;
70、异常定位模块,用于基于可视化展示结果,以预设单位为筛选器,获取所述数据源子分的变化信息,并根据所述变化信息,定位事故数据。
71、本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
72、下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
1.一种三方数据信息平台的前台数据监控方法,其特征在于,包括:
2.根据权利要求1所述的一种三方数据信息平台的前台数据监控方法,其特征在于,s1之后,还包括:
3.根据权利要求1所述的一种三方数据信息平台的前台数据监控方法,其特征在于,s2中,计算所述数据源子分在五大维度指标下的指标取值包括:
4.根据权利要求1所述的一种三方数据信息平台的前台数据监控方法,其特征在于,对所述五大维度指标进行可视化处理,进行可视化展示,还包括:
5.根据权利要求4所述的一种三方数据信息平台的前台数据监控方法,其特征在于,所述综合可视化展示的展示框架构建方式如下:
6.根据权利要求1所述的一种三方数据信息平台的前台数据监控方法,其特征在于,s4中,基于可视化展示结果,以预设单位为筛选器,获取所述数据源子分的变化信息,包括:
7.根据权利要求1所述的一种三方数据信息平台的前台数据监控方法,其特征在于,s4中,根据所述变化信息,定位事故数据,包括:
8.根据权利要求7所述的一种三方数据信息平台的前台数据监控方法,其特征在于,基于所述当前数据源和历史数据源,确定所述当前数据源是否异常,若是,定位所述当前数据源,作为事故数据,包括:
9.一种三方数据信息平台的前台数据监控系统,其特征在于,包括: