动态网络异常攻击检测方法、装置、电子设备和存储介质与流程

专利2022-05-09  147


本发明涉及网络攻击检测技术领域,尤其涉及一种动态网络异常攻击检测方法、装置、电子设备和存储介质。



背景技术:

随着现代系统的复杂性和规模日益增加,使人工检测方法在现实中变得不可行;而目前的异常检测大多通过正常行为的产生的数据集来建立模型,进而从大量的网络数据中区分出正常行为和异常行为,并在异常行为中判断出具体的攻击方式,从本质上可以看作是一个分类问题,早期通常采用传统的机器学习算法,例如朴素贝叶斯、支持向量机、k近邻等标准的机器模型。随着网络流量的急速增加,当先验知识不足时,很难找到处理大量数据的合适方法,在机器学习领域逐渐流行的组合分类器方法为这种问题提供了新的研究方向,之后越来越多的学者开始通过构造不同的组合分类器进行异常检测。

此外标准的机器学习通常假设数据源是干净的,即特征和标签设置正确,但是实际上收集的数据可能不可靠,因为不小心的注释或恶意的数据转换就会导致噪声,尤其从带有标签噪声的数据中学习会显著降低分类精度。

在以往模型中,异常分类器通常采用单分类器算法,可能具有偏向性因而导致准确率低。

因此,如何避免现有技术中的基于机器学习的动态网络异常攻击检测方法由于使用的分类器过于单一导致结果具有偏向性,造成准确率低的情况,仍然是本领域技术人员亟待解决的问题。



技术实现要素:

本发明提供一种动态网络异常攻击检测方法、装置、电子设备和存储介质,用以解决现有技术中的基于机器学习的动态网络异常攻击检测方法由于使用的分类器过于单一导致结果具有偏向性,造成准确率低的问题,通过在异常攻击检测模型训练过程中使用组合分类器平衡单一分类器的偏向性,使得检测结果准确率更高。

本发明提供一种动态网络异常攻击检测方法,该方法包括:

基于爬取的网络流量日志数据构建网络属性特征向量;

将所述网络属性特征向量输入异常攻击检测模型,输出对应的异常攻击检测结果;

其中,所述异常攻击检测模型是基于样本第一网络属性特征向量和对应的第一异常攻击标签进行训练得到的,所述异常攻击检测模型训练过程中使用组合分类器算法构建分类器。

根据本发明提供的一种动态网络异常攻击检测方法,所述第一样本网络属性特征向量和对应的第一异常攻击标签是将基于爬取的原始网络流量日志数据确定的样本网络属性特征向量和对应的第二异常攻击标签输入标签清洗模型后输出得到的;

其中,所述标签清洗模型是基于第二样本网络属性特征向量和添加噪声异常攻击标签构建的样本和对应的真实标签进行训练后得到的。

根据本发明提供的一种动态网络异常攻击检测方法,所述标签清洗模型训练过程中采用多层感知器算法。

根据本发明提供的一种动态网络异常攻击检测方法,所述标签清洗模型训练过程中采用多层感知器算法,具体包括:

以上一轮训练得到的中间标签清洗模型对当前轮次输入的样本标签数据进行标签噪声过滤,得到干净样本标签数据;

将所述干净样本标签数据加入上一轮训练使用的样本标签数据再次训练更新所述中间标签清洗模型。

根据本发明提供的一种动态网络异常攻击检测方法,所述组合分类器包括以下分类器中至少两种:

k邻近分类器、决策树分类器和支持向量机分类器。

根据本发明提供的一种动态网络异常攻击检测方法,所述异常攻击检测结果通过如下公式确定:

i=0或1

其中,i=0时,为所述组合分类器中第k个分类器输出为无异常攻击检测结果的概率,为异常攻击检测结果为无异常攻击的概率,i=1时,为所述组合分类器中第k个分类器输出为有异常攻击检测结果的概率,为异常攻击检测结果为有异常攻击的概率,αk为所述组合分类器中第k个分类器的权重系数,n为所述组合分类器中分类器的个数。

根据本发明提供的一种动态网络异常攻击检测方法,αk=1/n。

本发明还提供一种动态网络异常攻击检测装置,包括:

爬取单元,用于基于爬取的网络流量日志数据构建网络属性特征向量;

检测单元,用于将爬取的网络流量日志数据输入异常攻击检测模型,输出对应的异常攻击检测结果;

其中,所述异常攻击检测模型是基于第一样本网络流量日志数据和对应的第一异常攻击标签进行训练得到的,所述异常攻击检测模型训练过程中使用组合分类器算法构建分类器。

本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述的动态网络异常攻击检测方法的步骤。

本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述的动态网络异常攻击检测方法的步骤。

本发明提供的动态网络异常攻击检测方法、装置、电子设备和存储介质,通过基于爬取的网络流量日志数据构建网络属性特征向量;将所述网络属性特征向量输入异常攻击检测模型,输出对应的异常攻击检测结果;其中,所述异常攻击检测模型是基于样本第一网络属性特征向量和对应的第一异常攻击标签进行训练得到的,所述异常攻击检测模型训练过程中使用组合分类器算法构建分类器。由于异常攻击检测模型训练过程中使用的是组合分类器,避免了传统网络异常攻击检测使用的模型是基于单一分类器构建的神经网络训练造成的模型具有偏向性因而准确率低的问题,提高了网络异常攻击检测的准确率。因此,本发明提供的方法、装置、电子设备和存储介质,实现了提高网络异常攻击检测的正确率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明提供的动态网络异常攻击检测方法的流程示意图;

图2为本发明提供的投票分类器的数值举例示意图;

图3为本发明提供的动态网络异常攻击检测装置的结构示意图;

图4为本发明提供的实验验证初始样本对模型准确率影响的对比示意图;

图5为本发明提供的实验验证30%噪声下的模型准确率对比示意图;

图6为本发明提供的实验验证初始样本6000时不同噪声下的准确率示意图;

图7为本发明提供的一种电子设备的实体结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

现有技术中的基于机器学习的动态网络异常攻击检测方法普遍存在由于使用的分类器过于单一导致结果具有偏向性,造成准确率低的问题。下面结合图1描述本发明的一种动态网络异常攻击检测方法。图1为本发明提供的动态网络异常攻击检测方法的流程示意图,如图1所示,该方法包括:

步骤110,基于爬取的网络流量日志数据构建网络属性特征向量。

具体地,从互联网中需要检测的网络区域中爬取网络流量日志数据,所述网络流量日志数据为在预设时间段内抓取的所有数据包,从抓取的所有数据包中提取对应的数据包属性特征,组合构建网络属性特征向量,该向量中包括该网络区域的多种属性特征,例如:汇总最近来自该数据包的主机(ip)的流量、汇总最近来自此数据包的主机(ip mac)的流量、汇总最近从此数据包的主机(ip)到数据包的目标主机的流量等等常见有助于判定该数据包是否包括异常攻击信息的数据包属性特征。通常,所述网络属性特征向量包括的网络属性特征越多越有助于更准确地判定该数据包是否为异常攻击,但是网络属性特征向量的维度越大会造成计算量大,因此,构建网络属性特征向量时确定所述向量中包括的数据包属性特征需要平衡计算量和判定准确率。

步骤120,将所述网络属性特征向量输入异常攻击检测模型,输出对应的异常攻击检测结果;

其中,所述异常攻击检测模型是基于样本第一网络属性特征向量和对应的第一异常攻击标签进行训练得到的,所述异常攻击检测模型训练过程中使用组合分类器算法构建分类器。

具体地,将构建的网络属性特征向量输入异常攻击检测模型,输出对应的异常攻击检测结果,其中,所述异常攻击检测结果分为两种,一种是检测发现异常攻击,另外一种是检测发现没有异常攻击,更细分的情况是,对于检测发现异常攻击的结果,还可以输出异常攻击类型,例如,ack攻击、scan攻击、syn攻击或combo攻击等等,因此,输出的异常攻击检测结果既可以是粗略的是或否两种情况,还可以是将异常攻击情况下的不同异常攻击类型继续分类按类型输出的精细结果,此处不作具体限定。而所述异常攻击检测模型是基于样本第一网络属性特征向量和对应的第一异常攻击标签进行训练得到的,即限定异常攻击检测模型是基于机器学习训练出来的检测工具,使用机器学习技术,即采用大量的样本第一网络属性特征向量和对应的第一异常攻击标签进行训练,经过大量样本标签的训练不断纠正优化该异常攻击检测模型中的参数,直到训练结束异常攻击检测模型中的参数被调整至优良效果(该优良效果即模型输出结果与标签值“几乎一致”,即优良效果的评判标准可以是训练迭代次数达到预设数值,或者是损失函数小于预定数值)。对于用于训练所述异常攻击检测模型的样本第一网络属性特征向量和对应的第一异常攻击标签,其获取过程通常是,样本第一网络属性特征向量是基于爬取的互联网中待检测网络区域的网络流量日志数据提取的网络属性特征构建的大量样本第一网络属性特征向量得到,而对应的第一异常攻击标签是在第一网络属性特征向量的基础上进行人工标注或者使用其他准确率高的异常攻击检测工具对所述第一网络属性特征向量进行处理得到,此处不作具体限定。对于所述异常攻击检测模型的训练过程中使用的神经网络结构进行限定,为组合分类器,选用组合分类器相比传统的单一分类器避免了分类结果的偏向性可以提高分类判定的准确率。

本发明提供的动态网络异常攻击检测方法,通过基于爬取的网络流量日志数据构建网络属性特征向量;将所述网络属性特征向量输入异常攻击检测模型,输出对应的异常攻击检测结果;其中,所述异常攻击检测模型是基于样本第一网络属性特征向量和对应的第一异常攻击标签进行训练得到的,所述异常攻击检测模型训练过程中使用组合分类器算法构建分类器。由于异常攻击检测模型训练过程中使用的是组合分类器,避免了传统网络异常攻击检测使用的模型是基于单一分类器构建的神经网络训练造成的模型具有偏向性因而准确率低的问题,提高了网络异常攻击检测的准确率。因此,本发明提供的方法,实现了提高网络异常攻击检测的正确率。

基于上述实施例,该方法中,所述第一样本网络属性特征向量和对应的第一异常攻击标签是将基于爬取的原始网络流量日志数据确定的样本网络属性特征向量和对应的第二异常攻击标签输入标签清洗模型后输出得到的;

其中,所述标签清洗模型是基于第二样本网络属性特征向量和添加噪声异常攻击标签构建的样本和对应的真实标签进行训练后得到的。

具体地,此处进一步限定用于训练所述异常攻击检测模型的训练数据第一样本网络属性特征向量和对应的第一异常攻击标签是在提取的原始网络流量日志数据的网络属性特征构建的样本网络属性特征向量和以预设方式确定的对应的第二异常攻击标签的基础上通过标签清洗得到的,其中,预设方式可以是人工标注标签,也可以是通过现有的异常攻击检测工具对所述样本网络属性特征向量进行处理,此处不作具体限定,但是所述预设方式不能保证标签的准确性,因此,还需要进行标签清洗,将打错标签的样本进行校正,而此处进一步限定样本清洗的方式基于标签清洗模型进行,标签清洗模型是基于机器学习技术在大量样本和对应的噪声标签作为训练集的基础上训练得到的标签清洗工具。

其中,标签清洗模型的训练数据第二样本网络属性特征向量和人工标注的有噪声异常攻击标签构成,进一步地,所述标签清洗模型的训练数据集是通过如下方式构建:

首先,爬取互联网上待检测网络区域的大量网络流量日志数据,从中提取网络属性特征并构建大量的第二样本网络属性特征向量,针对所述第二样本网络属性特征向量确定每个第二样本网络属性特征向量的异常攻击标签,确定方式可以是人工标注,也可以是使用现有的异常攻击检测工具进行检测,所述确定方式不作具体限定,得到的对应的异常攻击标签默认准确无误,将上述第二样本网络属性特征向量和对应的准确无误的异常攻击标签作为干净训练数据集,然后通过对所述干净训练数据集通过均匀添加噪声的方法,将训练数据集中0-90%的样本标签改为错误的标签,其中,错误的标签以相等的概率从除了准确无误标签之外的所欲类别中被挑选,以预设比例控制训练数据集中的标签噪声水平,得到含有噪声的训练数据集。具体地,例如,对于干净训练数据集中的任一第二样本网络属性特征向量ai,其对应的准确无误异常攻击标签为tij,i=1,2,..,m,m为所述干净训练数据集中的第二样本网络属性特征向量数量,若j>1,则j为第j-1种异常攻击类型,否则j为无异常攻击,j=1,2,…,q 1,q为异常攻击类型的种类数。所述均匀标签噪声添加方式,即对于准确无误异常攻击标签tij,以相等概率从除了第j种异常攻击检测结果的其他q个常攻击检测结果随机挑选一个错误的标签tis加入其对应的第二样本网络属性特征向量ai,s≠j且s∈[1,q 1]作为含有噪声的训练数据集中的样本,因此,含有噪声的训练数据集中的第i个样本为[ai,tis],其对应的标签为tij。训练过程中所述标签清洗模型不断输出样本中最后一维特征代表的含噪声标签是否准确的评估结果,将该评估结果与真实标签进行对比求损失函数的数值,再以该数值反馈调节标签清洁模型训练过程中神经网络的待优化参数,直到模型输出的评估结果与真实标签“几乎一致”,完成训练。

在传统的异常攻击检测方法中,没有考虑训练异常攻击检测模型的样本和对应标签是否真实准确没有噪声,而本发明提供的标签清洗模型在构建用于训练所述异常攻击检测模型的训练数据集时,就使用标签清洗模型将原始构建的样本和标签进行标签清洗,得到更准确真实的用于训练异常攻击检测模型的训练数据集。

基于上述任一实施例,该方法中,所述标签清洗模型训练过程中采用多层感知器算法。

具体地,标签清洗模型进行训练时限定为使用多层感知器算法,即不断更新标签清洗模型,将批次到来的用于训练标签清洗模型的训练数据依次输入上一轮次更新得到的标签清洗模型进行标签清洗,将清洗干净的样本和标签数据加入上一轮次的训练数据重新训练标签清洗模型进行更新。

基于上述任一实施例,该方法中,所述标签清洗模型训练过程中采用多层感知器算法,具体包括:

以上一轮训练得到的中间标签清洗模型对当前轮次输入的样本标签数据进行标签噪声过滤,得到干净样本标签数据;

将所述干净样本标签数据加入上一轮训练使用的样本标签数据再次训练更新所述中间标签清洗模型。

具体地,使用多层感知器算法不断更新标签清洗模型,从批次到来的训练数据中,过滤出噪声数据,筛选出干净准确的样本和标签数据用于训练后续的异常攻击检测模型。具体的算法通过如下步骤描述:

step1:读取原始数据。

step2:将原始数据划分为训练集d和测试集p。

step3:为了探究不同水平的标签噪声对异常攻击检测模型的影响,通过均匀标签噪声的方法(将0~90%训练集样本标签改为错误的标签,其中标签以相等的概率从除了真实标签之外的所有类别中被挑选),控制训练集的标签噪声水平,得到含有噪声的训练集d(|d|=s)。

step4:初始化i=0,当i=0时,从训练集d中选取s0个样本,作为初始样本d0(|d0|=s0);d0训练标签质量评估器l:rf→q∈{0,1},(每个样本有f个特征。每个样本属于一个类q,其中q∈{0,1}),得到标签质量评估器模型l0。

step5:令i=i 1,当i≠0时,从训练集d中选取n个的样本d1,i,d2,i,…dn,i,作为批次样本集di,标签质量评估器模型si-1对批次样本集di中每个样本dj,i的质量进行评估,如果意味着不正确的标签,则丢弃;如果则合并干净标签的样本,组成样本集

step6:如果i<(s-s0)/n,d0,重新训练标签质量评估器,得到标签质量评估器模型si,循环step5;如果i≥(s-s0)/n,训练异常分类器c:rf→k∈{0,1,…k},(每个样本有f个特征。每个样本属于一个类k,其中k∈{0,1,…k}),得到异常分类器模型ci,测试集p通过异常分类器模型ci进行预测,并计算预测准确率,程序结束。

基于上述任一实施例,该方法中,所述组合分类器包括以下分类器中至少两种:

k邻近分类器、决策树分类器和支持向量机分类器。

具体地,考虑到在进行异常攻击检测模型训练之前就使用多层感知器算法对标签质量进行评估后,样本仍会有少量的标签噪声,所以在异常攻击检测模型训练时采用组合分类器模型进行异常分类。对于分类器组合方法的选择,考虑到stacking算法的时间复杂度,boosting算法对噪声的敏感度,所以选择了投票分类器的方法,并采用软投票的方法(通常,软投票是指将所有模型预测样本为某一类的概率的平均值作为标准,对应的平均值最高的类别被判定为最终的预测结果。)作为决策规则;此外,对于基分类器的选择,不仅要考虑准确率,还要考虑多样性。图2为本发明提供的投票分类器的数值举例示意图,如图2所述,若组合分类器包括三种基分类器:采用k邻近(knn),决策树(cart),支持向量机(svm)这三种机器学习算法作为基分类器,然后使用软投票的方法计算最终结果,这三种基分类器因为基于不同的分类原理,增强了组合分类器的多样性,具有良好的互补性和准确率。

基于上述任一实施例,该方法中,所述异常攻击检测结果通过如下公式确定:

i=0或1

其中,i=0时,为所述组合分类器中第k个分类器输出为无异常攻击检测结果的概率,为异常攻击检测结果为无异常攻击的概率,i=1时,为所述组合分类器中第k个分类器输出为有异常攻击检测结果的概率,为异常攻击检测结果为有异常攻击的概率,αk为所述组合分类器中第k个分类器的权重系数,n为所述组合分类器中分类器的个数。

具体地,此处限定异常攻击检测结果有11类,即有10类异常攻击和1类无异常攻击(也称良性攻击),因此,输出的结果按照各个类型的概率进行表征,由于采用的是组合分类器,因此,任一分类器k都会输出有异常攻击的概率和无异常攻击的概率,而最终的结果需要将所有分类器的输出结果进行统筹考虑,最通用的统筹考虑方法即软判决中的加权法,不同分类器基于初始设置确定的权重系数将其输出的异常攻击结果概率进行权值系数比例变化后与其他分类器的相同异常攻击结果以自身权值系数比例变化后的数值累加,得到最终的结果。其中,αk的设定根据组合分类器中对第k种基分类器的偏向程度正相关。

基于上述任一实施例,该方法中,αk=1/n。

具体地,最无偏向性,且简单的加权系数设置方式即取平均。

下面对本发明提供的动态网络异常攻击检测装置进行描述,下文描述的动态网络异常攻击检测装置与上文描述的一种动态网络异常攻击检测方法可相互对应参照。

图3为本发明提供的动态网络异常攻击检测装置的结构示意图,如图3所示,包括爬取单元310和检测单元320,其中,

所述爬取单元310,用于基于爬取的网络流量日志数据构建网络属性特征向量;

所述检测单元320,用于将爬取的网络流量日志数据输入异常攻击检测模型,输出对应的异常攻击检测结果;

其中,所述异常攻击检测模型是基于第一样本网络流量日志数据和对应的第一异常攻击标签进行训练得到的,所述异常攻击检测模型训练过程中使用组合分类器算法构建分类器。

本发明提供的动态网络异常攻击检测装置,通过基于爬取的网络流量日志数据构建网络属性特征向量;将所述网络属性特征向量输入异常攻击检测模型,输出对应的异常攻击检测结果;其中,所述异常攻击检测模型是基于样本第一网络属性特征向量和对应的第一异常攻击标签进行训练得到的,所述异常攻击检测模型训练过程中使用组合分类器算法构建分类器。由于异常攻击检测模型训练过程中使用的是组合分类器,避免了传统网络异常攻击检测使用的模型是基于单一分类器构建的神经网络训练造成的模型具有偏向性因而准确率低的问题,提高了网络异常攻击检测的准确率。因此,本发明提供的装置,实现了提高网络异常攻击检测的正确率。

基于上述实施例,该装置中,所述第一样本网络属性特征向量和对应的第一异常攻击标签是将基于爬取的原始网络流量日志数据确定的样本网络属性特征向量和对应的第二异常攻击标签输入标签清洗模型后输出得到的;

其中,所述标签清洗模型是基于第二样本网络属性特征向量和添加噪声异常攻击标签构建的样本和对应的真实标签进行训练后得到的。

基于上述实施例,该装置中,所述标签清洗模型训练过程中采用多层感知器算法。

基于上述实施例,该装置中,所述标签清洗模型训练过程中采用多层感知器算法,具体包括:

以上一轮训练得到的中间标签清洗模型对当前轮次输入的样本标签数据进行标签噪声过滤,得到干净样本标签数据;

将所述干净样本标签数据加入上一轮训练使用的样本标签数据再次训练更新所述中间标签清洗模型。

基于上述实施例,该装置中,所述组合分类器包括以下分类器中至少两种:

k邻近分类器、决策树分类器和支持向量机分类器。

基于上述实施例,该装置中,所述异常攻击检测结果通过如下公式确定:

i=0或1

其中,i=0时,为所述组合分类器中第k个分类器输出为无异常攻击检测结果的概率,为异常攻击检测结果为无异常攻击的概率,i=1时,为所述组合分类器中第k个分类器输出为有异常攻击检测结果的概率,为异常攻击检测结果为有异常攻击的概率,αk为所述组合分类器中第k个分类器的权重系数,n为所述组合分类器中分类器的个数。

基于上述实施例,该装置中,αk=1/n。

基于上述实施例,提供一种实验验证本发明提供的异常攻击检测的效果。

异常检测模型算法mcrad验证工作均采用真实数据集作为实验数据集,数据集来源于y.meidan等人从现实生活中被mirai和bashlite软件发起的10种恶性攻击感染的ecobee恒温器物联网设备收集。表1为数据集属性信息表格,表2为数据集类别信息表格,如表1和表2所示,该数据集共有115个属性,包含10种攻击类型和1种“良性”攻击,各类攻击的样本数量均衡。

表1数据集属性信息

表2数据集类别信息

表3数据集的描述

表3为数据集的描述表格,在实验中,将恒温器设备数据集的初始干净数据实例数从1000更改为6000,经过多次试验,并在所有批次数据到达后测量分类精度,最终确定数据集大小如表3所示。

在实验开始前,首先对数据处理,添加了不同水平的噪声,将每个实验重复10次得到异常检测准确率的平均值作为评估指标,将mcrad模型与rad模型、最优样本选择(optsel)模型进行比较分析:rad模型采用多层感知器算法筛选出所有批次样本中干净的样本,训练异常分类器,异常分类器采用k最近邻算法计算异常检测准确率;最优样本选择(optsel)模型模仿无所不知的代理人,完美的区分出所有批次干净的样本,训练异常分类器,异常分类器采用组合分类器算法计算异常检测准确率。

(1)图4为本发明提供的实验验证初始样本对模型准确率影响的对比示意图,设置初始样本为6000,噪声为30%时,mcrad模型一直保持98%左右的准确率,之后本实验将恒温器设备数据集的初始干净数据实例数从1000更改到7000,并在所有批次数据到达后测量分类精度,得到如图4所示的结果。

从图4中可以看到mcrad模型在初始样本在2000时准确率能达到97%左右,相比rad模型,准确率提高了2%,在初始样为6000、7000时,准确率接近于没有噪声时的optsel模型。因此可以得出组合分类器比单分类器具有更强的错误恢复能力和稳定性,对初始样本的依赖性比rad模型弱。

(2)图5为本发明提供的实验验证30%噪声下的模型准确率对比示意图,设置30%的噪声,设置初始样本为6000,数据批量为300,在同样的设置下复现rad和mcrad模型,得到图5的结果。

rad模型随着更多“干净”的数据逐步进入,准确率逐步提高,直至一个稳定的水平,rad模型的准确率最终达到96%左右,mcrad模型随着更多“干净”的数据逐步进入,mcrad模型收敛速度快,准确率一直处于98%左右,这说明了组合分类器mcrad模型的稳定性和高准确率,比rad模型的可用性更强,此外mcrad模型比只是用组合分类器的准确率更高,这说明二层架构对提高组合分类器的准确率起到了重要作用。

(3)在此基础上,图6为本发明提供的实验验证初始样本6000时不同噪声下的准确率示意图,实验将初始样本分别设置在6000,检测在不同水平的噪声情况下的模型异常分类的情况。将rad模型和mcrad模型已应用在0-90%的标签噪声的情况下,得到如图6所示的结果。

如图6可知,当初始样本为6000时,在不同的噪声水平下mcrad模型仍能有良好的表现,并在噪声小于40%时接近optsel模型,从准确率和可用性的角度,由图6可知mcrad模型比rad模型更稳定、更优。

与现有技术方案相比,本发明的有益效果在于在异常分类器模块使用了组合分类器算法,降低噪声对初始样本的影响和分类准确率的影响。并通过实验证实了,mcrad模型对初始样本数量的依赖性比没有使用组合分类器的rad模型的依赖性弱,模型更加稳定。在不同噪声水平下,mcrad模型明显优于rad模型,体现了组合分类器的优势。mcrad模型结合了rad框架和组合分类器的优势,mcrad模型在有效性和可用性上具有明显的优势。

图7为本发明提供的一种电子设备的实体结构示意图,如图7所示,该电子设备可以包括:处理器(processor)710、通信接口(communicationsinterface)720、存储器(memory)730和通信总线740,其中,处理器710,通信接口720,存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令,以执行动态网络异常攻击检测方法,该方法包括:基于爬取的网络流量日志数据构建网络属性特征向量;将所述网络属性特征向量输入异常攻击检测模型,输出对应的异常攻击检测结果;其中,所述异常攻击检测模型是基于样本第一网络属性特征向量和对应的第一异常攻击标签进行训练得到的,所述异常攻击检测模型训练过程中使用组合分类器算法构建分类器。

此外,上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的动态网络异常攻击检测方法,该方法包括:基于爬取的网络流量日志数据构建网络属性特征向量;将所述网络属性特征向量输入异常攻击检测模型,输出对应的异常攻击检测结果;其中,所述异常攻击检测模型是基于样本第一网络属性特征向量和对应的第一异常攻击标签进行训练得到的,所述异常攻击检测模型训练过程中使用组合分类器算法构建分类器。

又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的动态网络异常攻击检测方法,该方法包括:基于爬取的网络流量日志数据构建网络属性特征向量;将所述网络属性特征向量输入异常攻击检测模型,输出对应的异常攻击检测结果;其中,所述异常攻击检测模型是基于样本第一网络属性特征向量和对应的第一异常攻击标签进行训练得到的,所述异常攻击检测模型训练过程中使用组合分类器算法构建分类器。

以上所描述的服务器实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。


技术特征:

1.一种动态网络异常攻击检测方法,其特征在于,包括:

基于爬取的网络流量日志数据构建网络属性特征向量;

将所述网络属性特征向量输入异常攻击检测模型,输出对应的异常攻击检测结果;

其中,所述异常攻击检测模型是基于样本第一网络属性特征向量和对应的第一异常攻击标签进行训练得到的,所述异常攻击检测模型训练过程中使用组合分类器算法构建分类器。

2.根据权利要求1所述的动态网络异常攻击检测方法,其特征在于,所述第一样本网络属性特征向量和对应的第一异常攻击标签是将基于爬取的原始网络流量日志数据确定的样本网络属性特征向量和对应的第二异常攻击标签输入标签清洗模型后输出得到的;

其中,所述标签清洗模型是基于第二样本网络属性特征向量和添加噪声异常攻击标签构建的样本和对应的真实标签进行训练后得到的。

3.根据权利要求2所述的动态网络异常攻击检测方法,其特征在于,所述标签清洗模型训练过程中采用多层感知器算法。

4.根据权利要求3所述的动态网络异常攻击检测方法,其特征在于,所述标签清洗模型训练过程中采用多层感知器算法,具体包括:

以上一轮训练得到的中间标签清洗模型对当前轮次输入的样本标签数据进行标签噪声过滤,得到干净样本标签数据;

将所述干净样本标签数据加入上一轮训练使用的样本标签数据再次训练更新所述中间标签清洗模型。

5.根据权利要求1-4中任一项所述的动态网络异常攻击检测方法,其特征在于,所述组合分类器包括以下分类器中至少两种:

k邻近分类器、决策树分类器和支持向量机分类器。

6.根据权利要求1-4中任一项所述的动态网络异常攻击检测方法,其特征在于,所述异常攻击检测结果通过如下公式确定:

i=0或1

其中,i=0时,为所述组合分类器中第k个分类器输出为无异常攻击检测结果的概率,为异常攻击检测结果为无异常攻击的概率,i=1时,为所述组合分类器中第k个分类器输出为有异常攻击检测结果的概率,为异常攻击检测结果为有异常攻击的概率,αk为所述组合分类器中第k个分类器的权重系数,n为所述组合分类器中分类器的个数。

7.根据权利要求6所述的动态网络异常攻击检测方法,其特征在于,αk=1/n。

8.一种动态网络异常攻击检测装置,其特征在于,包括:

爬取单元,用于基于爬取的网络流量日志数据构建网络属性特征向量;

检测单元,用于将爬取的网络流量日志数据输入异常攻击检测模型,输出对应的异常攻击检测结果;

其中,所述异常攻击检测模型是基于第一样本网络流量日志数据和对应的第一异常攻击标签进行训练得到的,所述异常攻击检测模型训练过程中使用组合分类器算法构建分类器。

9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7中任一项所述的动态网络异常攻击检测方法的步骤。

10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至7中任一项所述的动态网络异常攻击检测方法的步骤。

技术总结
本发明提供一种动态网络异常攻击检测方法、装置、电子设备和存储介质,包括:基于爬取的网络流量日志数据构建网络属性特征向量;将所述网络属性特征向量输入异常攻击检测模型,输出对应的异常攻击检测结果;其中,所述异常攻击检测模型是基于样本第一网络属性特征向量和对应的第一异常攻击标签进行训练得到的,所述异常攻击检测模型训练过程中使用组合分类器算法构建分类器。本发明提供的方法、装置、电子设备和存储介质,实现了提高网络异常攻击检测的正确率。

技术研发人员:郭亚星;谭清耀;刘易;胡彦杰;韩言妮;谭倩
受保护的技术使用者:中国科学院信息工程研究所
技术研发日:2021.03.23
技术公布日:2021.08.03

转载请注明原文地址:https://doc.8miu.com/read-2289.html

最新回复(0)