本发明涉及数据分析,具体的说是一种基于实时计算的云电脑运营数据分析方法及系统。
背景技术:
1、为保障云电脑运营数据的实时展示,现需要提供一种面向云电脑的运营系统,接入各业务系统的运营数据,实时计算并实时展示在运营页面。
2、当前阶段,市场上已存在运营系统,均无法满足该需求,存在如下缺陷:
3、1)基于定时任务汇聚数据的运营系统,无法满足实时性的需求。
4、2)基于实时计算的运营系统,均引入了多个大数据中间件,如hive、spark等,造成系统无法轻量化部署,影响快速交付。
技术实现思路
1、本发明针对目前技术发展的需求和不足之处,提供一种基于实时计算的云电脑运营数据分析方法及系统,来接入各业务系统的运营数据,实时计算并实时展示在运营页面上。
2、第一方面,本发明提供一种基于实时计算的云电脑运营数据分析方法,解决上述技术问题采用的技术方案如下:
3、一种基于实时计算的云电脑运营数据分析方法,其包括如下步骤:
4、配置计算任务的管理功能,包括定义计算任务的数据接入方法、数据计算及转换流程、数据存储格式;
5、根据定义的计算任务数据接入方法,接入并读取各业务系统的运营数据;
6、根据定义的数据计算及转换流程,对读取的运营数据进行实时计算及格式转换;
7、根据定义的数据存储格式,存储计算后的运营数据及计算过程中产生的运行日志。
8、可选的,配置计算任务的管理功能时,同时设置计算任务的运维和监控功能,其中:
9、计算任务的运维功能支持查看计算任务的运行日志;
10、计算任务的监控功能支持查看计算任务的运行状况及资源占用。
11、可选的,配置计算任务的管理功能时,支持通过可视化拖拽的形式定义计算任务的数据接入方法、数据计算及转换流程、数据存储格式,支持创建各类运营数据的计算任务。
12、进一步可选的,配置计算任务的管理功能时,通过可视化拖拽的形式定义计算任务的数据接入方法采用消息队列;
13、通过订阅消息队列的topic,即可以消息队列的形式接入并读取运营数据;
14、通过调用flink stream的接口,即可按照定义的数据计算及转换流程,实现数据实时计算及转换。
15、可选的,采用数据存储中间件clickhouse、mysql、elasticsearch存储计算后的运营数据及计算过程中产生的运行日志;
16、用户通过web页面查看数据存储中间件存储的运行日志。
17、第二方面,本发明提供一种基于实时计算的云电脑运营数据分析系统,解决上述技术问题采用的技术方案如下:
18、一种基于实时计算的云电脑运营数据分析系统,其包括:
19、任务管理模块,用于配置计算任务的管理功能,包括定义计算任务的数据接入方法、数据计算及转换流程、数据存储格式;
20、数据接入模块,用于根据定义的计算任务数据接入方法,接入并读取各业务系统的运营数据,随后触发任务执行模块;
21、任务执行模块,用于根据定义的数据计算及转换流程,对读取的运营数据进行实时计算及格式转换,并在完成一次计算任务后触发数据存储模块;
22、数据存储模块,用于根据定义的数据存储格式,存储计算后的运营数据及计算过程中产生的运行日志。
23、可选的,所涉及任务管理模块还用于设置计算任务的运维和监控功能,其中:
24、计算任务的运维功能支持查看计算任务的运行日志;
25、计算任务的监控功能支持查看计算任务的运行状况及资源占用。
26、可选的,所涉及任务管理模块配置计算任务的管理功能时,支持通过可视化拖拽的形式定义计算任务的数据接入方法、数据计算及转换流程、数据存储格式,支持创建各类运营数据的计算任务。
27、进一步可选的,所涉及任务管理模块通过可视化拖拽的形式定义计算任务的数据接入方法采用消息队列;
28、通过订阅消息队列的topic,数据接入模块即可以消息队列的形式接入并读取运营数据,进而触发任务执行模块;
29、任务执行模块通过调用flink stream的接口,即可按照任务管理模块定义的数据计算及转换流程,实现数据实时计算及转换。
30、可选的,所涉及数据存储模块采用数据存储中间件clickhouse、mysql、elasticsearch;
31、任务管理模块提供web页面,用户通过web页面查看数据存储模块存储的运行日志。
32、本发明的一种基于实时计算的云电脑运营数据分析方法及系统,与现有技术相比具有的有益效果是:
33、本发明可以实现云电脑运营数据的实时计算,满足用户对数据实时展示的需求,并可提供轻量化的部署,降低用户成本。
1.一种基于实时计算的云电脑运营数据分析方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的一种基于实时计算的云电脑运营数据分析系统,其特征在于,配置计算任务的管理功能时,同时设置计算任务的运维和监控功能,其中:
3.根据权利要求1所述的一种基于实时计算的云电脑运营数据分析系统,其特征在于,配置计算任务的管理功能时,支持通过可视化拖拽的形式定义计算任务的数据接入方法、数据计算及转换流程、数据存储格式,支持创建各类运营数据的计算任务。
4.根据权利要求3所述的一种基于实时计算的云电脑运营数据分析系统,其特征在于,配置计算任务的管理功能时,通过可视化拖拽的形式定义计算任务的数据接入方法采用消息队列;
5.根据权利要求1所述的一种基于实时计算的云电脑运营数据分析系统,其特征在于,采用数据存储中间件clickhouse、mysql、elasticsearch存储计算后的运营数据及计算过程中产生的运行日志;
6.一种基于实时计算的云电脑运营数据分析系统,其特征在于,其包括:
7.根据权利要求6所述的一种基于实时计算的云电脑运营数据分析系统,其特征在于,所述任务管理模块还用于设置计算任务的运维和监控功能,其中:
8.根据权利要求6所述的一种基于实时计算的云电脑运营数据分析系统,其特征在于,所述任务管理模块配置计算任务的管理功能时,支持通过可视化拖拽的形式定义计算任务的数据接入方法、数据计算及转换流程、数据存储格式,支持创建各类运营数据的计算任务。
9.根据权利要求8所述的一种基于实时计算的云电脑运营数据分析系统,其特征在于,所述任务管理模块通过可视化拖拽的形式定义计算任务的数据接入方法采用消息队列;
10.根据权利要求6所述的一种基于实时计算的云电脑运营数据分析系统,其特征在于,所述数据存储模块采用数据存储中间件clickhouse、mysql、elasticsearch;
