本发明涉及安全日志采集，特别涉及一种基于多数据源的安全日志采集系统。
背景技术：
1、各种网络安全设备如waf（web application firewall，web应用程序防火墙）、ids（intrusion detection system，入侵检测系统）、ips（intrusion prevention system，入侵防御系统）、hids（host-based intrusion detection system，基于主机型入侵检测系统）等，对网络安全进行检测、分析、处理的结果通常以安全日志的形式分散存储于不同介质中，在网络安全服务中，通常需要收集汇聚各种类型的网络安全日志以检测异常情况、安全漏洞、优化安全防护性能等。对这些安全日志进行安全且高效地收集处理时，会存在以下问题：
2、安全日志格式存在差异，如json、xml、键值对、rfc3164等；
3、（2）安全日志传输方式存在差异，如api、snmp、syslog等；
4、（3）安全日志存储方式存在差异，如消息队列、数据库、文件等；
5、（4）网络安全设备所处的网络位置或地理位置存在差异，设备之间存在网络隔离或限制；
6、（5）缺乏安全日志采集的全链路监控，难以感知安全日志丢失或异常情况。
7、因此，如何对多种网络安全设备中、不同网络位置下、不同类型、格式、传输方式与存储位置的安全日志进行采集、处理与传输，并进行采集传输过程的全链路监控，是目前亟须解决的问题。
技术实现思路
1、为解决上述缺陷或不足，本发明提供了一种基于多数据源的安全日志采集系统，通过数据采集探针模块、数据接收模块、注册中心模块实现多数据源多种类安全设备的安全日志采集，和安全日志采集的全链路监控。
2、本发明提供了一种基于多数据源的安全日志采集系统，包括：
3、态势感知平台、安全设备网络和数据采集探针模块；
4、其中，所述态势感知平台包括数据接收模块和注册中心模块，所述安全设备网络包括多个网络安全设备；
5、所述数据采集探针模块，布设于所述态势感知平台和/或安全设备网络，其用于根据采集任务配置信息对多数据源的安全日志进行数据采集，对采集的安全日志进行多级过滤处理；根据任务配置的回传类型，对过滤后的数据进行打包处理，并将打包数据发送至所述数据接收模块；对采集的安全日志进行监控，并将监控数据上报至所述注册中心模块；
6、所述数据接收模块，用于接收所述打包数据，对所述打包数据进行解压缩和解密操作；对解压缩和解密后的数据进行校验，将校验后的数据按照预定策略分流至消息队列、日志服务器和oss对象存储服务中；并实时监控接收数据的数据接收率、解压解密成功率、数据校验结果和分流成功率，并将监控数据上报至所述注册中心模块；
7、所述注册中心模块，用于生成并下发所述采集任务配置信息；向所述数据采集探针模块下发远程处置指令；接收所述数据采集探针模块和所述数据接收模块发送的监控数据，并将其同步至监控系统，进行可视化展示。
8、进一步的，所述多数据源包括：syslog日志、通用数据接口、消息队列、高级消息中间件、数据库和文件传输协议；
9、进一步的，所述数据采集探针模块进一步用于：
10、根据预设的ip白名单，对安全日志中的源ip进行匹配，符合白名单的源ip产生的安全日志予以通过，否则丢弃，并记录安全日志来源ip、数据长度和时间戳；
11、通过前置过滤器分析安全日志的来源，并将来源信息添加到安全日志中，利用插件对安全日志进行数据过滤；
12、通过后置过滤器筛选出位于预设数据长度范围内的安全日志；根据预设的脱敏规则对筛选出的安全日志的敏感信息进行遮蔽处理；对遮蔽处理后的安全日志添加信息标识。
13、进一步的，所述数据采集探针模块包括位于态势感知平台的内置数据采集探针模块和位于安全设备网络的外置数据采集探针模块，当态势感知平台所处网络与安全设备网络为同一局域网或公共网络时，采用内置数据采集探针模块执行日志采集任务；当态势感知平台所处网络与安全设备网络为不同局域网或公共网络时，采用外置数据采集探针模块执行日志采集任务。
14、进一步的，所述回传类型包括实时模式与打包模式，所述打包处理包括实时模式下采用lz4压缩，打包模式下采用zip压缩并辅以aes256加密。
15、进一步的，所述数据采集探针模块进一步用于：
16、若打包数据发送失败，则在本地进行滚动存储并压缩加密，按预设时间间隔自动尝试重新发送直至成功送达所述数据接收模块。
17、进一步的，所述数据采集探针模块进一步用于：
18、记录预设周期内成功采集的数据数量与总数据大小；统计预设周期内经处理后保留的数据数量和总数据大小；监测数据传输环节已成功发送至数据接收模块的数据数量与总数据大小；记录被数据接收模块拒收的数据数量与总数据大小；统计在数据处理阶段被主动丢弃的数据数量与总数据大小。
19、进一步的，所述数据接收模块进一步用于：
20、对实时模式的打包数据采用lz4解压，对打包模式的打包数据采用zip解压并进行aes256解密。
21、进一步的，所述数据采集探针模块进一步用于：
22、当网络安全设备访问态势感知平台时，获取所述注册中心模块下发的远程处置权限开启指令，建立与注册中心模块的远程处置服务端口的tcp连接；响应远程处置指令，启动内置的本地代理服务，将注册中心模块的远程处置服务端口接收到的处置请求流量转发至本地代理；对接收到的处置请求报文进行解析，提取其中的指令内容与参数信息，基于解析结果在本地执行相应的处置操作。
23、进一步的，所述数据采集探针模块进一步用于：
24、通过定期心跳机制，将各所述数据采集探针模块的监控数据随心跳信息一并上报至注册中心模块；所述注册中心模块接收来自所有数据采集探针模块的监控数据，形成全局视角的监控视图。
25、本发明提供的一种基于多数据源的安全日志采集系统，通过数据采集探针模块并行采集多种网络安全设备的安全日志，对安全日志进行多级过滤处理筛选出高质量数据，通过压缩加密与容错缓存保障数据传输过程的安全稳定，对数据采集的全流程进行监控，存在网络限制时启用远程处置功能；通过数据接收模块对数据采集探针模块回传的安全日志进行高效地接收、恢复、校验、分流转发处理，并对接收数据状态实时监控；通过注册中心模块，管理数据采集探针模块与数据接收模块，实现实时准确地下发采集任务指令、汇集上报数据、同步监控数据及下发远程处置指令。本发明实现了多数据源多网络安全设备的安全日志稳定、安全、高效地采集、处理与传输，实现了存在网络限制时对网络安全设备的远程处置，对安全日志采集、处理与传输的全链路监控，有利于及时发现各网络安全设备、各环节的数据流转异常状况。
1.一种基于多数据源的安全日志采集系统，其特征在于，包括：
2.根据权利要求1所述的一种基于多数据源的安全日志采集系统，其特征在于，所述多数据源包括：syslog日志、通用数据接口、消息队列、高级消息中间件、数据库和文件传输协议。
3.根据权利要求1所述的一种基于多数据源的安全日志采集系统，其特征在于，所述数据采集探针模块进一步用于：
4.根据权利要求1所述的一种基于多数据源的安全日志采集系统，其特征在于，所述数据采集探针模块包括位于态势感知平台的内置数据采集探针模块和位于安全设备网络的外置数据采集探针模块，当态势感知平台所处网络与安全设备网络为同一局域网或公共网络时，采用内置数据采集探针模块执行日志采集任务；当态势感知平台所处网络与安全设备网络为不同局域网或公共网络时，采用外置数据采集探针模块执行日志采集任务。
5.根据权利要求1所述的一种基于多数据源的安全日志采集系统，其特征在于，所述回传类型包括实时模式与打包模式，所述打包处理包括实时模式下采用lz4压缩，打包模式下采用zip压缩并辅以aes256加密。
6.根据权利要求1所述的一种基于多数据源的安全日志采集系统，其特征在于，所述数据采集探针模块进一步用于：
7.根据权利要求1所述的一种基于多数据源的安全日志采集系统，其特征在于，所述数据采集探针模块进一步用于：
8.根据权利要求1所述的一种基于多数据源的安全日志采集系统，其特征在于，所述数据接收模块进一步用于：
9.根据权利要求1所述的一种基于多数据源的安全日志采集系统，其特征在于，所述数据采集探针模块进一步用于：
10.根据权利要求7所述的一种基于多数据源的安全日志采集系统，其特征在于，所述数据采集探针模块进一步用于：
