本技术涉及网络资产推荐的领域,尤其是涉及一种网络资产类别推荐方法、设备及储存介质。
背景技术:
1、网络资产主要是计算机(或通讯)网络中使用的各种设备。主要包括主机、网络设备(路由器、交换机等)和安全设备(防火墙等),网络空间测绘,用搜索引擎技术来提供交互,让人们可以方便的搜索到网络空间上的设备。相对于现实中使用的地图,用各种测绘方法描述和标注地理位置,用主动或被动探测的方法,来绘制网络空间上设备的网络节点和网络连接关系图,及各设备的画像。为了更加方便获取网络资产的类型,通常将网络资产进行分类
2、相关技术中,将网络空间测绘数据和三十多万条高质量规则,将网络资产进行分类,在存在新的网络资产数据的时候,根据现有的高质量规则将新的网络资产数据进行分类。
3、针对上述中的相关技术,由于高质量规则都是由若干专家制定的,在有新的网络资产数据的时候,对网络资产进行分类的时候必须由专业的人员进行分类,而且数据量巨大,费时费力。
技术实现思路
1、为了能够自动对网络资产进行分类,本技术提供一种网络资产类别推荐方法、系统、设备及储存介质。
2、本技术提供的一种网络资产类别推荐方法、系统、设备及储存介质采用如下的技术方案:
3、一种网络资产类别推荐方法,包括:
4、获取待分类的待分网络资产;
5、从预设的网络资产数据库中抽取预设数量样本,得到样本数据;
6、在所述样本数据中,基于所述分类规则,得到网络资产类别;
7、基于所述分类规则,匹配所述待分网络资产的所述资产类别,获取资产类别组;
8、基于所述资产类别组以及类别判断策略,获取网络资产推荐类别。
9、通过采用上述技术方案,在有新的网络资产的时候也就是待分网络资产,首先从网络资产数据库中抽取预设数量的样本,作为样本数据,减少数据处理量,然后对样本数据根据网络资产的不同类型,对样本数据进行分类,得到网络资产类别,然后将待分网络资产和网络资产进行匹配,得到待分网络资产有可能的网络资产类别,组成资产类别组,然后在资产类别组中根据类别判断策略,选择出待分网络资产最高概率的网络资产类别作为网络资产推荐类别。不需要专家人工对网络资产进行分类,减轻专家的工作负担。
10、可选的,所述在所述样本数据中,基于分类规则,得到网络资产类别之后包括:
11、获取页面源码数据;
12、基于所述页面源码数据,得到稀疏向量;
13、基于所述稀疏向量,获取文本频率;
14、基于所述文本频率,获取文本单词;
15、基于所述文本单词,获取低价值单词次数;
16、基于所述低价值单词次数,构建停用词库。
17、通过采用上述技术方案,网络资产数据中,有部分网络资产是没有价值的数据,但是会存在样本数据中增加没有必要的数据处理量,因此需要筛除这部分没有价值的数据,根据页面源码数据,获取稀疏向量,然后在根据稀疏向量得到文本频率,从文本频率中,获取文本单词,然后从文本单词中得到低价值单词,将低价值单词次数出现较多的构建成停用词库,在样本数据中,将停用词库的数据筛除,减少数据处理量。
18、可选的,所述在所述样本数据中,基于分类规则,得到网络资产类别之后包括:
19、在所述样本数据中,对所述样本数据进行分桶抽样,得到抽样结果;
20、基于所述抽样结果,构建文档向量特征。
21、通过采用上述技术方案,将样本数据进行分桶抽样,使分桶的数据量尽量较为均匀,将分桶后的页面源码数据向量化,构建文档向量特征以便根据文档向量特征训练分类器对网络资产进行分类。
22、可选的,所述构建停用词库之后包括:
23、基于所述哈希向量,得到稀疏向量;
24、基于所述哈希向量,稀疏向量分类器。
25、通过采用上述技术方案,哈希向量相比于文档向量特征,哈希向量特征较为稀疏,适合处理空数据比较多的页面源码数据,训练成稀疏向量分类器对页面源码数据进行分类。
26、可选的,所述构建文档向量特征之后包括:
27、基于所述文档向量特征以及随机森林分类技术训练文档向量特征,得到稠密向量分类器。
28、通过采用上述技术方案,稠密向量分类器用于处理页面源码数据中,有效数据比较多的页面源码数据。
29、可选的,所述基于所述分类规则,匹配所述待分网络资产的所述资产类别,获取资产类别组包括:
30、基于所述待分类的待分网络资产,获取待分析页面源码数据;
31、基于所述待分析页面源码数据,得到待分析哈希向量和所述待分析文档向量;
32、基于所述待分析哈希向量和所述待分析文档向量,获取资产类别组。
33、通过采用上述技术方案,根据待分网络资产,得到待分析的页面源码数据,然后将待分析的页面源码数据哈希化以及向量化,得到待分析哈希向量和所述待分析文档向量,由于稀疏向量分类器以及稠密向量分类器都是由哈希向量和文档向量训练得到的,因此训练器可以识别哈希向量和文档向量以此确定网络资产的网络资产类别。
34、可选的,所述获取资产类别组包括:
35、基于所述稀疏向量分类器和所述待分析哈希向量,得到第一分类结果;
36、基于所述稠密向量分类器以及所述稠密向量分类器,得到第二分类结果;
37、基于所述第一分类结果和所述第二分类结果,获取所述资产类别组。
38、通过采用上述技术方案,不同的分类器只能识别对应的向量,也就是稀疏向量分类器只能识别哈希向量,稠密向量分类器只能识别稠密向量分类器,因此稀疏向量分类器识别待分析哈希向量,得到网络资产的第一分类结果,稠密向量分类器识别稠密向量分类器,得到网络资产的第二分类结果,将识别出的所有网络资产类别作为资产类别组,以便后续在资产类别组中找出最可能的网络资产类别。
39、可选的,所述基于所述资产类别组以及类别判断策略,获取网络资产推荐类别包括:
40、基于所述类别判断策略,判断所述第一分类结果以及所述第二分类结果在所述网络资产数据库中的分类正确率;
41、若所述分类正确率低于预设数值,则修改所述样本数据,重新得到更新稠密向量分类器以及更新稀疏向量分类器直至所述分类正确率大于或等于所述预设数值,基于所述更新稠密向量分类器以及所述更新稀疏向量分类器,获取网络资产推荐类别。
42、通过采用上述技术方案,由于稠密向量分类器以及稀疏向量分类器在训练的时候,都是采用的部分数据也就是样本数据进行训练的,而样本数据本身由于是人工分类的规则,数据本书可能就是错误的,导致训练出来的分类器也是错误的,自然推荐的资产类别是错误的,因此需要对错误的数据进行剔除,在分类正确率低于预设的数值的时候,修改样本数据,重新训练分类器得到更新稠密向量分类器以及更新稀疏向量分类器,直到推荐的网络资产类别的分类准确率大于预设数值,将当前推荐的网络资产类别作为网络资产推荐类别。
43、第二方面,本技术提供一种终端设备,采用如下的技术方案:
44、一种终端设备,包括存储器、处理器,所述存储器储存有能够在处理器上运行的计算机程序,所述处理器加载并执行所述计算机程序时,采用了上述任一项所述的方法。
45、通过采用上述技术方案,通过将上述的方法生成计算机程序,并存储于存储器中,以被处理器加载并执行,从而,根据存储器及处理器制作终端设备,方便使用。
46、第三方面,本技术提供一种计算机可读存储介质,采用如下的技术方案:
47、一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器加载并执行时,采用了上述的一种网络资产类别推荐方法。
48、通过采用上述技术方案,通过将上述的一种网络资产类别推荐方法生成计算机程序,并存储于计算机可读存储介质中,以被处理器加载并执行,通过计算机可读存储介质,方便计算机程序的可读及存储。
49、综上所述,本技术包括以下至少一种有益技术效果:
50、在有新的网络资产的时候也就是待分网络资产,首先从网络资产数据库中抽取预设数量的样本,作为样本数据,减少数据处理量,然后对样本数据根据网络资产的不同类型,对样本数据进行分类,得到网络资产类别,然后将待分网络资产和网络资产进行匹配,得到待分网络资产有可能的网络资产类别,组成资产类别组,然后在资产类别组中根据类别判断策略,选择出待分网络资产最高概率的网络资产类别作为网络资产推荐类别。不需要专家人工对网络资产进行分类,减轻专家的工作负担。
1.一种网络资产类别推荐方法,其特征在于,包括:
2.根据权利要求1所述的一种网络资产类别推荐方法,其特征在于,所述在所述样本数据中,基于分类规则,得到网络资产类别之后包括:
3.根据权利要求1所述的一种网络资产类别推荐方法,其特征在于,所述在所述样本数据中,基于分类规则,得到网络资产类别之后包括:
4.根据权利要求2所述的一种网络资产类别推荐方法,其特征在于,所述构建停用词库之后包括:
5.根据权利要求3所述的一种网络资产类别推荐方法,其特征在于,所述构建文档向量特征之后包括:
6.根据权利要求1所述的一种网络资产类别推荐方法,其特征在于,所述基于所述分类规则,匹配所述待分网络资产的所述资产类别,获取资产类别组包括:
7.根据权利要求6所述的一种网络资产类别推荐方法,其特征在于,所述获取资产类别组包括:
8.根据权利要求1所述的一种网络资产类别推荐方法,其特征在于,所述基于所述资产类别组以及类别判断策略,获取网络资产推荐类别包括:
9.一种终端设备,包括存储器和处理器,其特征在于,所述存储器储存有能够在处理器上运行的计算机程序,所述处理器加载并执行所述计算机程序时,采用了权利要求1至8中任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其特征在于,所述计算机程序被处理器加载并执行时,采用了权利要求1至8中任一项所述的方法。
