本发明涉及数据格式统一,特别涉及一种煤矿水害数据的统一管理方法及系统。
背景技术:
1、在煤矿行业,数据管理和分析对提高生产效率和确保生产安全至关重要。然而,煤矿数据通常存储在不同类型的数据库中,这些数据库可能使用不同的数据格式和结构。
2、传统的数据整合和分析困难,并且方法单一。转换时通常涉及大量手动工作和复杂的代码编写,导致数据处理效率低下。目前亟需一种新的方法来对煤矿行业的各类不同数据库之间的数据格式进行转换,以满足其数据管理和分析需求,实现灵活、高效的数据处理和转换。
3、因此,本发明提供了一种煤矿水害数据的统一管理方法及系统。
技术实现思路
1、本发明一种煤矿水害数据的统一管理方法及系统,为煤矿行业提供了解决复杂数据管理和分析挑战的创新解决方案。通过提高数据质量、加速数据处理和支持智能化决策,它有望显著改善煤矿生产和管理的效率和质量。
2、本发明提供了一种煤矿水害数据的统一管理方法,包括:
3、步骤1:根据每一数据库对应的库地址和库信息构建连接协议,利用所述连接协议分别将每一所述数据库连接到统一管理平台中;
4、步骤2:在所述统一管理平台中将每一所述数据库对应的煤矿水害数据转换为统一管理格式,得到每一所述数据库对应的可管理数据;
5、步骤3:根据用户下发的管理指令对所述可管理数据进行异常分析,区分每一所述数据库中包含的异常数据和非异常数据;
6、步骤4:将所述异常数据和非异常数据进行分类存储,并根据每一所述数据库对应的异常数据构建水害信息。
7、在一种可实施的方式中,
8、还包括:
9、采集每一所述数据库对应的煤矿水害数据时,根据所述煤矿水害数据对应的数据格式调取对应的加密方式;
10、利用所述加密方式为对应的煤矿水害数据加密。
11、在一种可实施的方式中,
12、所述步骤1,包括:
13、步骤11:根据每一所述数据库对应的库地址捕捉并筛选对应数据库范围内的若干个可用网络,并分别获取每一所述可用网络对应的网络协议根据同一所述数据库对应的若干个网络协议构建对应数据库的网络基础架构,基于所述网络基础架构确定对应数据库的若干种可接入网络协议;
14、步骤12:根据每一所述数据库对应的库信息确定对应数据库的网络接入方式和采集数据报文格式,利用所述网络接入方式构建对应数据库的入网网络协议,将所述入网网络协议分别与对应的可接入网络协议进行对接,得到每一对接组合对应的可传输数据报文格式,根据与所述采集数据报文格式一致的目标对接组合建立请求连接协议;
15、步骤13:根据所述统一管理平台的平台网络数据构建所述统一管理平台的网络接入规则,根据所述网络接入规则为对应的数据库构建网络访问权限,在所述统一管理平台中生成每一所述数据库对应的对接连接协议;
16、步骤14:根据同一所述数据库对应的请求连接协议和对接连接协议构建对应数据库与所述统一管理平台之间的连接协议,利用所述连接协议将对应的数据库接入到所述统一管理平台中。
17、在一种可实施的方式中,
18、所述步骤2,包括:
19、步骤21:分别将每一所述数据库中包含的煤矿水害数据传输到所述统一管理平台中,根据每一所述数据库对应的库类型为对应的煤矿水害数据配置相应的数据映射规则,利用所述数据映射规则将对应的煤矿水害数据映射到所述统一管理平台中的处理域中;
20、步骤22:获取所述处理域中包含的所有映射数据,分别对每一所述映射数据进行缺失值分析,根据缺失值分析结果分别为每一所述映射数据添加第一标记,分别获取每一所述映射数据对应的数据散点图,根据所述数据散点图对所述映射数据进行异常值分析,根据异常值分析结果分别为每一所述映射数据添加第二标记;
21、步骤23:根据所述第一标记确定具有数据缺失特征的一类映射数据,利用数据差值法对所述一类映射数据进行缺失值补偿,根据所述第二标记确定具有数据异常特征的二类映射数据,利用数据替换法/数据去重法对所述二类映射数据进行异常消除处理;
22、步骤24:获取处理后的可用映射数据,根据所述统一管理平台对应的统一管理格式分别调整每一所述可用映射数据对应的数据格式,得到若干个可管理数据,根据每一所述可管理数据对应的数据库,将所述可管理数据与所述数据匹配。
23、在一种可实施的方式中,
24、还包括:
25、根据所述第一标记和第二标记将所述映射数据划分为一类映射数据、二类映射数据和合格映射数据;
26、对所述一类映射数据进行缺失值补偿;
27、对所述二类映射数据进行深入异常分析,确定所述二类映射数据对应的异常类型;
28、当所述二类映射数据属于数据错误异常时,利用所述数据替换法对所述二类映射数据进行异常消除处理;
29、当所述第二映射数据属于数据重复异常时,利用所述数据去重法对所述二类映射数据进行异常消除处理;
30、对所述合格映射数据进行暂存处理。
31、在一种可实施的方式中,
32、所述步骤3,包括:
33、步骤31:根据用户下发的管理指令确定所述用户管理数据库和管理目的,根据所述管理目的构建对应管理数据库的库展示信息;
34、步骤32:获取所述管理数据库对应的目标可管理数据,根据所述目标可管理数据构建对应管理数据库采集范围内的煤矿构架图,在所述煤矿构架图中捕捉所述库展示信息对应的构架位置;
35、步骤33:将所述煤矿构架图划分为若干个构架层,分别获取每一所述构架位置与不同的构建层之间逻辑关系,确定逻辑关系异常的第一架构位置和逻辑关系正常的第二架构位置;
36、步骤34:将所述第一架构位置对应的可管理数据记作异常数据,将所述第二架构位置对应的可管理数据记作非异常数据。
37、在一种可实施的方式中,
38、还包括:
39、根据所述异常数据和非异常数据在所述煤矿构架图中建立对应管理数据库的水害可视图表;
40、在所述统一管理平台中显示所述水害可视图表。
41、在一种可实施的方式中,
42、所述步骤4,包括:
43、步骤41:根据每一所述数据库对应的异常数据和非异常数据建立对应数据库的数据库队列,统计所述统一管理平台中的异常数据,建立异常数据队列,统计所述统一管理平台中的非异常数据,建立正常数据队列;
44、步骤42:对所述数据库队列、异常数据队列和正常数据队列进行存储,根据所述数据库队列构建每一所述数据库对应的区域异常信息,根据所述异常数据队列和正常数据队列构建煤矿的整体异常信息和整体正常信息;
45、步骤43:根据所述区域异常信息、整体异常信息和整体正常信息构建所述煤矿的水害信息。
46、本发明提供了一种煤矿水害数据的统一管理系统,包括:
47、协议生成模块,用于根据每一数据库对应的库地址和库信息构建连接协议,利用所述连接协议分别将每一所述数据库连接到统一管理平台中;
48、格式调整模块,用于在所述统一管理平台中将每一所述数据库对应的煤矿水害数据转换为统一管理格式,得到每一所述数据库对应的可管理数据;
49、数据分析模块,用于根据用户下发的管理指令对所述可管理数据进行异常分析,区分每一所述数据库中包含的异常数据和非异常数据;
50、水害分析模块,用于将所述异常数据和非异常数据进行分类存储,并根据每一所述数据库对应的异常数据构建水害信息。
51、在一种可实施的方式中,
52、所述协议生成模块,包括:
53、协议构建单元,用于根据每一所述数据库对应的库地址捕捉并筛选对应数据库范围内的若干个可用网络,并分别获取每一所述可用网络对应的网络协议根据同一所述数据库对应的若干个网络协议构建对应数据库的网络基础架构,基于所述网络基础架构确定对应数据库的若干种可接入网络协议;
54、协议请求单元,用于根据每一所述数据库对应的库信息确定对应数据库的网络接入方式和采集数据报文格式,利用所述网络接入方式构建对应数据库的入网网络协议,将所述入网网络协议分别与对应的可接入网络协议进行对接,得到每一对接组合对应的可传输数据报文格式,根据与所述采集数据报文格式一致的目标对接组合建立请求连接协议;
55、协议对接单元,用于根据所述统一管理平台的平台网络数据构建所述统一管理平台的网络接入规则,根据所述网络接入规则为对应的数据库构建网络访问权限,在所述统一管理平台中生成每一所述数据库对应的对接连接协议;
56、接入管理单元,用于根据同一所述数据库对应的请求连接协议和对接连接协议构建对应数据库与所述统一管理平台之间的连接协议,利用所述连接协议将对应的数据库接入到所述统一管理平台中。
57、本发明可以实现的有益效果为:为了解决煤矿水害专业数据格式和结构不一致性的问题,先将每一个用来存储数据的数据库通过网络连接到统一管理平台中,然后在统一管理平台中将数据转换为统一管理格式的可管理数据,保证数据在获取后是符合规范的,同时也是干净的,进一步根据用户所下发的管理指令对可管理数据进行异常分析,通过分析可以将数据库中的数据进行区分,通过自动化数据转换和智能化调用任务,提高任务执行效率,减少人工干预,提高采集程序高可靠性,使数据处理更加智能化,最后将不同种类的数据进行分类存储,并构建每一个数据库的水害信息,通过这样的方式不仅可以将不同格式数据库的水害数据进行分类,还可以实现不同数据库不同格式的数据无缝流转和共享。
58、本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
59、下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
1.一种煤矿水害数据的统一管理方法,其特征在于,包括:
2.如权利要求1所述的一种煤矿水害数据的统一管理方法,其特征在于,还包括:
3.如权利要求1所述的一种煤矿水害数据的统一管理方法,其特征在于,所述步骤1,包括:
4.如权利要求1所述的一种煤矿水害数据的统一管理方法,其特征在于,所述步骤2,包括:
5.如权利要求4所述的一种煤矿水害数据的统一管理方法,其特征在于,还包括:
6.如权利要求1所述的一种煤矿水害数据的统一管理方法,其特征在于,所述步骤3,包括:
7.如权利要求6所述的一种煤矿水害数据的统一管理方法,其特征在于,还包括:
8.如权利要求1所述的一种煤矿水害数据的统一管理方法,其特征在于,所述步骤4,包括:
9.一种煤矿水害数据的统一管理系统,其特征在于,包括:
10.如权利要求9所述的一种煤矿水害数据的统一管理系统,其特征在于,所述协议生成模块,包括:
