多类型数据接入方法及装置、电子设备和可读存储介质与流程

1.本技术涉及数据采集和传输领域，尤其涉及一种多类型数据接入方法及装置、一种电子设备以及一种计算机可读存储介质。


背景技术：

2.随着工业互联网的越发成熟和应用，不同的设备间的数据接口不同是阻碍设备采集数据的一大难题。现有技术中无法实现对不同设备间实现数据的自动采集转化，并且无法实现使当前的物联网接入设备广泛地支持传感器的互联互通、即插即用，联合接入能力十分有限。


技术实现要素：

3.有鉴于此，本技术涉及一种多类型数据接入方法及装置，通过研究通用传感器接入管理平台，多类型百万级传感器接入以及对自定义和自动化执行海量物联网设备之间的联动规则的支持来解决上述技术问题。
4.跨平台通用传感器接入管理平台主要是通过数据处理系统对不同的数据源数据进行处理，针对当前的物联网接入设备不能广泛地支持传感器的互联互通、即插即用，联合接入能力十分有限，物联网应用类标准与应用脱节，且缺乏态势联合感知和异常状态自适应联动的能力；开发通用软硬件接口、安全可信、广连接快速适配应用的轻量级通用可信接入管理平台，实现传感设备联合感知、精准调度决策自执行、异常状态联动自适应等功能。
5.本技术针对系统间数据协同需求，在数据采集与导入中遇到的数据类型多样、导入方法不统一、系统间对接困难等难题，对静态数据与动态数据、结构化数据与非结构化数据等多种类型的数据设计通用导入接口，实现海量异构数据接入标准化。
6.根据本技术的一个方面提供了一种多类型数据接入方法，该方法包括：
7.将静态数据从静态数据源导入到静态数据导入接口，并且将动态数据从动态数据源导入到动态数据导入接口；
8.静态数据导入接口将静态数据传输至数据处理系统，并且动态数据导入接口将动态数据传输至数据处理系统；
9.在数据处理系统对静态数据和动态数据进行融合处理；
10.对融合后的数据进行标准化处理以获得标准化数据；以及
11.将标准化数据导入到一站式数据处理平台。
12.根据本技术的另一个方面，提供了一种多类型数据接入装置，包括：
13.数据源，其包括静态数据源和动态数据源；
14.数据通用导入接口，其包括静态数据导入接口和动态数据导入接口；以及
15.数据处理系统，其包括一站式数据处理平台，
16.其中，静态数据从静态数据源被导入到静态数据导入接口，并且动态数据从动态数据源被导入到动态数据导入接口。
17.根据本技术的第三方面，提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据所述的多类型数据接入方法。
18.根据本技术实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，所述处理器执行所述的多类型数据接入方法。
19.本技术的实施例提供的技术方案可以包括以下有益效果：
20.为有效解决不同数据源接口不同的痛点和难点，构建了数据设计通用导入接口。通过从各种不同类型设备汇聚过来的各种感知数据，构建出不同的细分应用场景下的业务数据模型和服务，通过自动感知，自动匹配不同的业务数据模型进行快速的应用和部署。实现数据资源有效分类、业务服务高度协同。自动感知指的是不同的数据标准化模板，通过将数据转化为标准化的形式，不用的业务模型可以通过标准化的模板读取使用相关使用，而不需要再次对数据进行处理。
21.本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
22.附图用来提供对本技术技术方案的进一步理解，并且构成说明书的一部分，与本技术的实施例一起用于解释本技术的技术方案，并不构成对本技术技术方案的限制。
23.图1为根据本技术的实施例的多类型数据接入方法的流程示意图；以及
24.图2示出了根据本技术的实施例的多类型数据接入装置的示意图。
具体实施方式
25.为使本技术实施例的目的、技术方案和优点更加清楚，以下结合附图对本技术的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本技术，并不用于限制本技术。
26.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序；并且，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互任意组合。
27.其中，在本技术实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
28.在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本技术的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
29.根据本技术的一个方面提供了一种多类型数据接入方法，如图1所示，该方法包括如下步骤s101至步骤s105。
30.在步骤s101中，将静态数据从静态数据源导入到静态数据导入接口，并且将动态数据从动态数据源导入到动态数据导入接口。
31.在步骤s102中，静态数据导入接口将静态数据传输至数据处理系统，并且动态数据导入接口将动态数据传输至数据处理系统。
32.在步骤s103中，在数据处理系统对静态数据和动态数据进行融合处理。
33.在步骤s104中，对融合后的数据进行标准化处理以获得标准化数据。
34.在步骤s105中，将标准化数据导入到一站式数据处理平台。
35.根据本技术的一些实施例，该方法通过ftp接口将静态数据从静态数据源传输至静态数据导入接口，并且通过代理接口将动态数据从动态数据源传输至动态数据导入接口。
36.根据本技术的一些实施例，静态数据包括结构化静态数据和非结构化静态数据，而动态数据包括结构化动态数据和非结构化动态数据。
37.根据本技术的另一个方面提供了一种多类型数据接入装置100。如图2所示，该装置100包括：
38.数据源200，其包括静态数据源201和动态数据源202；
39.数据通用导入接口，其包括静态数据导入接口203和动态数据导入接口204；以及
40.数据处理系统205，其包括一站式数据处理平台，
41.其中，静态数据从静态数据源201被导入到静态数据导入接口203，并且动态数据从动态数据源202被导入到动态数据导入接口204。
42.数据通用导入接口包括静态数据导入接口203和动态数据导入接口204。不同的数据源，需要特殊的接口来处理。静态数据导入接口203包括设备接口1，设备接口1是用来处理静态数据。动态数据导入接口204包括设备接口2，设备接口2是用来处理动态数据。
43.根据本技术的一些实施例，静态数据通过ftp接口从静态数据源传输至静态数据导入接口，而动态数据通过代理接口从动态数据源传输至动态数据导入接口。
44.静态数据源201提供静态数据。静态数据可以采用ftp的形式上传。动态数据源202提供动态数据。动态数据是通过代理进行传输，这里，代理指动态数据传输的服务器。代理1和2是动态数据传输的管道。数据导入即通过ftp和代理的方式将底层接收到的数据传送到数据通用导入接口，并进而传输至数据处理系统。
45.根据本技术的一些实施例，静态数据包括结构化静态数据和非结构化静态数据，而动态数据包括结构化动态数据和非结构化动态数据。
46.根据本技术的一些实施例，数据处理系统从静态数据导入接口和动态数据导入接口分别接收静态数据和动态数据，并对静态数据和动态数据进行融合处理。
47.静态数据和动态数据导入分别通过ftp和代理的方式将底层接收到的数据传送到数据处理系统。由于不用的数据源格式不同、形式多样，因此需要通过融合处理的方式将具有相似结构的数据源进行归类。
48.根据本技术的一些实施例，数据处理系统对融合后的数据进行标准化处理，并导入到一站式数据处理平台。
49.标准化处理过程对分类后的数据进行标准化建模，并将最终建模后的数据交给一站式数据处理平台，上层应用通过调用一站式数据处理平台中的数据，实现对工业互联网场景下多源异构数据的提取和使用。数据融合处理即对数据进行归类，标准化即对归类后的数据进行建模，
50.本技术为有效解决不同数据源接口不同的痛点和难点，构建了数据设计通用导入接口。通过从各种不同类型设备汇聚过来的各种感知数据，构建出不同的细分应用场景下的业务数据模型和服务，通过自动感知，自动匹配不同的业务数据模型进行快速的应用和部署。实现数据资源有效分类、业务服务高度协同。自动感知指的是不同的数据标准化模板，通过将数据转化为标准化的形式，不用的业务模型可以通过标准化的模板读取使用相关使用，而不需要再次对数据进行处理。
51.本技术通过对多种数据导入及融合，开发一站式数据处理平台，通过数据导入处理，可实现海量异构数据标准化的接入。
52.基于相同的技术构思，本技术实施例相应还提供一种电子设备，电子设备包括存储器和处理器，存储器中存储有计算机程序，当处理器运行存储器存储的计算机程序时，处理器执行基于切片技术的媒体内容存储策略方法。
53.基于相同的技术构思，本技术实施例相应还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，处理器执行基于切片技术的媒体内容存储策略方法。
54.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd
‑
rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
55.最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。