本发明属于日志处理，具体地说是一种用于网络安全检测的日志处理方法和装置。
背景技术：
1、日志是日记的一种，是一种记录了我们的生活和情感的写作模式，网络安全检测是通过技术手段对网站进行漏洞扫描，检测网页是否存在漏洞、网页是否挂马、网页有没有被篡改、是否有欺诈网站等，提醒网站管理员及时修复和加固，保障web网站的安全运行，而日志处理是网络安全检测中非常重要的一步，它可以帮助检测异常行为、发现潜在威胁和提供安全事件的追踪与分析。
2、然而，目前日志数据的质量和准确性可能受到设备配置、日志格式、收集过程等因素的影响，可能存在误报和漏报的情况，导致日志处理的效果较差，无法进行大规模的推广。
3、为此，本领域技术人员提出了一种用于网络安全检测的日志处理方法和装置来解决背景技术提出的问题。
技术实现思路
1、为了解决上述技术问题，本发明提供一种用于网络安全检测的日志处理方法和装置，以解决现有技术中存在的问题。
2、一种用于网络安全检测的日志处理方法，包括以下步骤：
3、s1、日志收集：首先根据需求从网络设备、服务器和应用程序中收集日志信息，获得初始日志数据集；
4、s2、日志处理：然后对日志数据集进行归一化处理，接着再通过特征降维算法对收集到的日志进行过滤和筛选，排除无关的信息，只保留与安全检测相关的日志；
5、s3、解析和分类：对筛选后的日志进行解析和处理，将其归类到相应的事件和类别中，使日志信息更加结构化和易于理解；
6、s4、分析和检测：对归类后的日志进行分析和性能检测，使用安全分析工具、威胁情报和规则引擎等技术手段，识别异常行为和潜在威胁，发现安全事件；
7、s5、反馈优化：最后生成有关安全事件的报告和警告，提供给安全团队进行进一步的调查和应对措施。
8、优选的，在步骤s2中，所述归一化处理的具体计算公式如下：
9、
10、其中，rel是相关性计算函数，idcg@k是理想折损累积增益，计算公式如下：
11、
12、优选的，在步骤s2中，所述特征降维算法的操作如下：首先假设一个数据集中有m个样本x1，x2，…，xm，每个样本包含n个特征，为了获取n′(n′＜n)个特征降维成分，具体算法如下：
13、步骤一、原始数据标准化：
14、
15、i＝1，2，...，m；j＝1，2，...，n；
16、其中，
17、步骤二、求相关系数矩阵：其中，r表示相关系数矩阵本身，m表示样本均值向量，表示样本矩阵的转置，z表示样本矩阵；
18、步骤三、假设λ1≥λ2≥...λn为相关系数矩阵r的特征值，求其对应的单位特征向量：
19、
20、步骤四、计算特征降维成分：ti＝α1iz1+α2iz2+…+αnizn，i＝1，...，n′；最后将n′个特征降维成分作为新的数据向量替换原来的数据。
21、优选的，在步骤s4中，所述日志的性能检测采用指标检测算法，其实现的公式如下：
22、
23、其中，mae是指平均绝对误差，p(i，j)和g(i，j)分别代表预测图和真值图(i，j)位置的像素点，mae的值越小，则说明两者的差异越小，模型的检测性能越高。
24、一种用于网络安全检测的日志处理装置，包括：
25、至少一个处理器；
26、以及，与所述至少一个处理器通信连接的存储器；
27、其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的用于网络安全检测的日志处理方法。
28、与现有技术相比，本发明具有如下有益效果：
29、本发明通过日志收集、日志处理、解析和分类、分析和检测、反馈优化等步骤，可以提高网络安全的防御能力，保护组织的信息资产免受攻击和损失，同时对数据进行归一化处理和对数据进行过滤和筛选，防止存在日志处理效果存在误报和漏报的情况，提高了日志处理的效果，适合大面积的推广与应用。
1.一种用于网络安全检测的日志处理方法和装置，其特征在于：包括以下步骤：
2.如权利要求1所述一种用于网络安全检测的日志处理方法和装置，其特征在于：在步骤s2中，所述归一化处理的具体计算公式如下：
3.如权利要求1所述一种用于网络安全检测的日志处理方法和装置，其特征在于：在步骤s2中，所述特征降维算法的操作如下：首先假设一个数据集中有m个样本x1，x2，...，xm，每个样本包含n个特征，为了获取n′(n′＜n)个特征降维成分，具体算法如下：
4.如权利要求1所述一种用于网络安全检测的日志处理方法和装置，其特征在于：在步骤s4中，所述日志的性能检测采用指标检测算法，其实现的公式如下：
5.一种用于网络安全检测的日志处理装置，其特征在于，包括：
