一种基于BI平台的低代码平台数据传输方法及系统与流程

专利2025-03-27  11


本发明属于数据传输,具体地说是一种基于bi平台的低代码平台数据传输方法及系统。


背景技术:

1、在现有的信息化系统中,低代码平台因其能够快速、高效地构建应用程序而得到广泛应用,而bi平台则擅长将企业的数据转化为知识,为业务决策提供有力支持,将其二者结合进行运用,具有很高的灵活性与便捷性,但在二者结合进行运用中,存在数据传输同步异常等问题,解决此类问题具有较高的价值意义。

2、公告号为cn115098567b的一项中国专利申请公开了一种基于bi平台的低代码平台数据传输方法,包括:s1、在低代码平台建立表单结构a并同步到bi平台,bi平台同步创建表单结构b,表单结构a映射为clickhouse数据库中的物理表结构,若表单结构a从属于表单结构b,则会在clickhouse数据库的表单结构b中维护和表单结构a的关系;s2、在步骤s1的前提下,在低代码平台的表单结构a中建立数据c并同步到bi平台,bi平台同步的表单结构b中同步有数据d。

3、现有技术中,通过存在映射关系的表单结构等方法实现bi平台与低代码平台之间的数据传输,但bi平台与低代码平台之间的数据传输受到数据同步机制的影响,在一些非实时同步机制的数据传输过程中,缺少对数据同步性进行分析,则导致其无法保障bi平台与低代码平台之间数据传输的准确性。

4、为此,本发明提供了一种基于bi平台的低代码平台数据传输方法及系统。


技术实现思路

1、为了弥补现有技术的不足,解决背景技术中所提出的至少一个技术问题。

2、本发明通过数据时间戳对bi平台与低代码平台之间的数据同步性进行分析,有利于保证bi平台与低代码平台之间数据传输的准确性,确保用户或者数据使用者能够获取到准确的数据,并且在数据同步异常的情况下,分析其bi平台与低代码平台之间的同步间隔时间是否与数据同步异常之间存在关联性,有利于在数据同步异常时,及时确定数据同步异常的影响因素,便于后续及时对bi平台与低代码平台之间的数据传输进行优化调控,同时在bi平台与低代码平台之间的同步间隔时间与数据同步异常之间存在关联性时,根据不同异常数据同步节点的数据同步异常程度,对其不同异常数据同步节点对应的同步间隔时间进行优化调控,有利于保障bi平台与低代码平台之间数据传输的稳定性与准确性。

3、本发明解决其技术问题所采用的技术方案是:一种基于bi平台的低代码平台数据传输方法,包括:

4、分别获取bi平台与低代码平台上的时间数据,其中时间数据包括数据时间戳,基于对bi平台与低代码平台上的时间数据进行比对分析,得到同步异常值;

5、将同步异常值与同步异常阈值进行比较,根据比较结果生成同步信号,其中,同步信号包括同步异常信号和同步正常信号,具体比较为:

6、若同步异常值大于等于同步异常阈值,则生成同步异常信号;

7、若同步异常值小于同步异常阈值,则生成同步正常信号;

8、基于生成的同步异常信号,获取bi平台与低代码平台之间的数据同步节点,基于对数据同步节点以及时间数据进行结合分析,得到异常数据同步节点以及异常数据同步节点对应的异常影响比,基于对异常数据同步节点对应的异常影响比进行分析,得到影响判定值;

9、根据影响判定值确定bi平台与低代码平台之间数据同步异常是否与同步间隔时间存在关联,并生成影响信号,其中影响信号包括影响关联信号和影响非关联信号;

10、基于影响关联信号,获取间隔调控数据,其中,间隔调控数据包括间隔调控时间,根据间隔调控时间对bi平台与低代码平台之间的同步间隔时间进行调控。

11、作为本发明进一步的技术方案为:将bi平台与低代码平台上的时间数据进行比对分析,得到异常数据时间戳组的数量占比以及异常程度占比,将异常数据时间戳组的数量占比以及异常程度占比进行乘积处理,得到同步异常值。

12、作为本发明进一步的技术方案为:所述异常数据时间戳组的获取方式为:

13、将同种数据在bi平台上的数据时间戳与在低代码平台上的数据时间戳整合为数据时间戳组,在数据时间戳组内,将其两个数据时间戳进行差值处理,并将其差值取绝对值,得到数据时间差值,将数据时间差值与数据时间差阈值进行比较,具体比较过程如下:

14、若数据时间差值大于数据时间差阈值,则将数据时间戳组标记为异常数据时间戳组,若数据时间差值小于等于数据时间差阈值,则将数据时间戳组标记为正常时间戳组。

15、作为本发明进一步的技术方案为:所述异常数据时间戳组的数量占比的获取方式为:

16、统计数据时间戳组的数量以及数据时间戳组内异常数据时间戳组的数量,将异常数据时间戳组的数量除以数据时间戳组的数量,得到异常数据时间戳组的数量占比;

17、所述异常数据时间戳组的异常程度占比的获取方式为:

18、将异常数据时间戳组对应的数据时间差值与数据时间差阈值作差值处理,得到异常数据时间戳组对应的数据时间相对差值,将所有异常数据时间戳组对应的数据时间相对差值进行求和取均值,得到数据时间相对差均值,将数据时间相对差均值与数据时间差阈值进行比值处理,得到异常数据时间戳组的异常程度占比。

19、作为本发明进一步的技术方案为:所述异常数据同步节点的获取过程为:

20、将同步节点处所同步的数据类型与异常数据类型进行比对,若在同步节点处所同步的数据类型中存在异常数据类型,则将同步节点标记为异常数据同步节点,若在同步节点处所同步的数据类型中不存在异常数据类型,则将同步节点标记为正常数据同步节点,其中,将异常数据时间戳对应的数据标记为异常数据。

21、作为本发明进一步的技术方案为:所述异常数据同步节点对应的异常影响比的获取方式为:

22、统计异常数据同步节点对应的异常数据时间戳组的数量,将异常数据同步节点对应的异常数据时间戳组的数量与所有异常数据时间戳组的数量进行比值处理,得到异常数据同步节点对应的异常数据时间戳组数量占比;

23、获取异常数据同步节点对应的所有的异常数据时间戳组的异常程度占比,并将其进行求和取均值,得到异常数据同步节点对应的异常数据时间戳组的异常程度占比均值;

24、将异常数据同步节点对应的异常数据时间戳组数量占比以及异常程度占比均值进行乘积处理,得到异常数据同步节点的综合异常值;

25、将异常数据同步节点的综合异常值与异常数据同步节点的所对应的同步间隔时间进行比值处理,得到异常数据同步节点对应的异常影响比,其中,同步间隔时间表示的是异常数据同步节点与前一个数据同步节点之间的间隔时间。

26、作为本发明进一步的技术方案为:所述影响判定值的获取方式为:

27、获取所有异常数据同步节点对应的异常影响比,并将其进行求和取均值,得到异常影响比均值,将异常数据同步节点对应的异常影响比与异常影响比均值进行差值处理,并将其差值取绝对值,得到异常影响比差值,将异常影响比差值与异常影响比差阈值进行比较:

28、若异常影响比差值大于等于异常影响比差阈值,则将异常数据同步节点标记为第一异常数据同步节点;

29、若异常影响比差值小于异常影响比差阈值,则将异常数据同步节点标记为第二异常数据同步节点;

30、统计第二异常数据同步节点的数量,将第二异常数据同步节点的数量与异常数据同步节点的数量进行比值处理,得到影响判定值。

31、作为本发明进一步的技术方案为:将影响判定值与影响判定阈值进行比较:

32、若影响判定值大于等于影响判定阈值,则生成影响关联信号;

33、若影响判定值小于影响判定阈值,则生成影响非关联信号。

34、作为本发明进一步的技术方案为:所述间隔调控时间的获取方式为:

35、获取同步异常值与同步异常阈值,并将其进行差值处理,得到同步异常偏离值,将同步异常偏离值与同步异常阈值进行比值处理,得到同步异常偏离比;

36、获取数据同步节点对应的同步间隔时间,将所有数据同步节点对应的同步间隔时间进行求和,得到同步间隔总时间;

37、将同步异常偏离比与同步间隔总时间进行乘积处理,得到间隔调控总时间;

38、获取所有异常数据同步节点的综合异常值,并将其进行求和,得到异常数据同步节点的综合异常总值;

39、将异常数据同步节点的综合异常值除以异常数据同步节点的综合异常总值,得到异常数据同步节点的综合异常比;

40、将异常数据同步节点的综合异常比与间隔调控总时间进行乘积处理,得到间隔调控时间。

41、一种基于bi平台的低代码平台数据传输系统,包括:

42、同步数据获取模块:分别获取bi平台与低代码平台上的时间数据,其中时间数据包括数据时间戳,基于对bi平台与低代码平台上的时间数据进行比对分析,得到同步异常值;

43、同步异常分析模块:将同步异常值与同步异常阈值进行比较,根据比较结果生成同步信号,其中,同步信号包括同步异常信号和同步正常信号;

44、影响数据获取模块:基于生成的同步异常信号,获取bi平台与低代码平台之间的数据同步节点,基于对数据同步节点以及时间数据进行结合分析,得到异常数据同步节点以及异常数据同步节点对应的异常影响比,基于对异常数据同步节点对应的异常影响比进行分析,得到影响判定值;

45、影响关联分析模块:根据影响判定值确定bi平台与低代码平台之间数据同步异常是否与同步间隔时间存在关联,并生成影响信号,其中影响信号包括影响关联信号和影响非关联信号;

46、同步调控模块:基于影响关联信号,获取间隔调控数据,其中,间隔调控数据包括间隔调控时间,根据间隔调控时间对bi平台与低代码平台之间的同步间隔时间进行调控。

47、本发明的有益效果如下:

48、1.本发明分别获取bi平台与低代码平台上的时间数据,其中时间数据包括数据时间戳,基于对bi平台与低代码平台上的时间数据进行比对分析,得到同步异常值,将同步异常值与同步异常阈值进行比较,根据比较结果生成同步信号,其中,同步信号包括同步异常信号和同步正常信号,本发明通过数据时间戳对bi平台与低代码平台之间的数据同步性进行分析,有利于保证bi平台与低代码平台之间数据传输的准确性,确保用户或者数据使用者能够获取到准确的数据。

49、2.本发明基于生成的同步异常信号,获取bi平台与低代码平台之间的数据同步节点,基于对数据同步节点以及时间数据进行结合分析,得到异常数据同步节点以及异常数据同步节点对应的异常影响比,基于对异常数据同步节点对应的异常影响比进行分析,得到影响判定值,根据影响判定值确定bi平台与低代码平台之间数据同步异常是否与同步间隔时间存在关联,并生成影响信号,其中影响信号包括影响关联信号和影响非关联信号,本发明在数据同步异常的情况下,分析其bi平台与低代码平台之间的同步间隔时间是否与数据同步异常之间存在关联性,有利于在数据同步异常,及时确定数据同步异常的影响因素,便于后续及时对bi平台与低代码平台之间的数据传输进行优化调控。

50、3.本发明基于影响关联信号,获取间隔调控数据,其中,间隔调控数据包括间隔调控时间,根据间隔调控时间对bi平台与低代码平台之间的同步间隔时间进行调控,本发明在bi平台与低代码平台之间的同步间隔时间与数据同步异常之间存在关联性时,根据不同异常数据同步节点的数据同步异常程度,对其不同异常数据同步节点对应的同步间隔时间进行优化调控,有利于保障bi平台与低代码平台之间数据传输的稳定性与准确性。


技术特征:

1.一种基于bi平台的低代码平台数据传输方法,其特征在于:包括:

2.根据权利要求1所述的一种基于bi平台的低代码平台数据传输方法,其特征在于:将bi平台与低代码平台上的时间数据进行比对分析,得到异常数据时间戳组的数量占比以及异常程度占比,将异常数据时间戳组的数量占比以及异常程度占比进行乘积处理,得到同步异常值。

3.根据权利要求2所述的一种基于bi平台的低代码平台数据传输方法,其特征在于:所述异常数据时间戳组的获取方式为:

4.根据权利要求2所述的一种基于bi平台的低代码平台数据传输方法,其特征在于:所述异常数据时间戳组的数量占比的获取方式为:

5.根据权利要求1所述的一种基于bi平台的低代码平台数据传输方法,其特征在于:所述异常数据同步节点的获取过程为:

6.根据权利要求1所述的一种基于bi平台的低代码平台数据传输方法,其特征在于:所述异常数据同步节点对应的异常影响比的获取方式为:

7.根据权利要求1所述的一种基于bi平台的低代码平台数据传输方法,其特征在于:所述影响判定值的获取方式为:

8.根据权利要求7所述的一种基于bi平台的低代码平台数据传输方法,其特征在于:将影响判定值与影响判定阈值进行比较:

9.根据权利要求1所述的一种基于bi平台的低代码平台数据传输方法,其特征在于:所述间隔调控时间的获取方式为:

10.一种基于bi平台的低代码平台数据传输系统,其特征在于:该系统实现如上述权利要求1-9任一项所述的基于bi平台的低代码平台数据传输方法,包括:


技术总结
本发明属于数据传输技术领域,本发明提供了一种基于BI平台的低代码平台数据传输方法及系统,包括:分别获取BI平台与低代码平台上的时间数据,并进行比对分析,得到同步异常值,并生成同步信号,获取BI平台与低代码平台之间的数据同步节点,并结合时间数据进行分析,得到异常数据同步节点以及异常数据同步节点对应的异常影响比,基于异常影响比得到影响判定值,根据影响判定值确定BI平台与低代码平台之间数据同步异常是否与同步间隔时间存在关联,基于影响关联信号,获取间隔调控时间,根据间隔调控时间对BI平台与低代码平台之间的同步间隔时间进行调控,本发明有利于保障BI平台与低代码平台之间数据传输的稳定性与准确性。

技术研发人员:王鲁贵,胡宏飞,戴丹红,姜少华,王福祥
受保护的技术使用者:杭州跃翔科技有限公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1817714.html

最新回复(0)