一种反爬虫方法、装置及设备与流程

专利2026-08-13  14


本说明书涉及计算机,尤其涉及一种反爬虫方法、装置及设备。


背景技术:

1、在网络数据大爆炸的时代,自从人工智能、大数据爆火之后,爬虫和反爬虫这一对冤家就一直在不断对抗,从而促进着安全领域技术的不断精进。

2、目前比较成熟的反爬虫技术包括基于设备指纹的反爬虫技术和基于用户行为的风险控制技术。其中,基于设备指纹的反爬虫技术能够在很大程度上防止爬虫程序的顺利执行,但是随着指纹浏览器、虚拟机技术等的发展,基于设备指纹的反爬虫技术不能有效的实现反爬虫。基于用户行为的风险控制技术虽然可以有效的对抗爬虫冲虚,但是该方法成本较高,并不适用于中小企业,同时为了减少对真实用户的误伤率,往往会调低阈值,但是调低阈值会导致反爬虫效果的降低。

3、基于此,需要一种新的反爬虫方法。


技术实现思路

1、本说明书实施例提供一种反爬虫方法、装置及设备,用于解决以下技术问题:现有的基于设备指纹的反爬虫技术能够在很大程度上防止爬虫程序的顺利执行,但是随着指纹浏览器、虚拟机技术等的发展,基于设备指纹的反爬虫技术不能有效的实现反爬虫。基于用户行为的风险控制技术虽然可以有效的对抗爬虫冲虚,但是该方法成本较高,并不适用于中小企业,同时为了减少对真实用户的误伤率,往往会调低阈值,但是调低阈值会导致反爬虫效果的降低。

2、为解决上述技术问题,本说明书实施例是这样实现的:

3、本说明书实施例提供一种反爬虫方法,包括:

4、获取待处理的爬虫请求;

5、基于所述待处理的爬虫请求与动态规则库进行匹配,获得匹配结果,所述动态规则库包括混淆特征及变化特征,所述混淆特征为基于已有的爬虫请求的特征参数进行混淆获得,所述变化特征为基于所述混淆特征进行特征变化获得;

6、若所述匹配结果与当前系统所用的规则不一致,拒绝所述待处理的爬虫请求。

7、本说明书实施例还提供一种反爬虫装置,包括:

8、获取模块,获取待处理的爬虫请求;

9、匹配模块,基于所述待处理的爬虫请求与动态规则库进行匹配,获得匹配结果,所述动态规则库包括混淆特征及变化特征,所述混淆特征为基于已有的爬虫请求的特征参数进行混淆获得,所述变化特征为基于所述混淆特征进行特征变化获得;

10、反爬虫模块,若所述匹配结果与当前系统所用的规则不一致,拒绝所述待处理的爬虫请求。

11、本说明书实施例还提供一种电子设备,包括:

12、至少一个处理器;以及,

13、与所述至少一个处理器通信连接的存储器;其中,

14、所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:

15、获取待处理的爬虫请求;

16、基于所述待处理的爬虫请求与动态规则库进行匹配,获得匹配结果,所述动态规则库包括混淆特征及变化特征,所述混淆特征为基于已有的爬虫请求的特征参数进行混淆获得,所述变化特征为基于所述混淆特征进行特征变化获得;

17、若所述匹配结果与当前系统所用的规则不一致,拒绝所述待处理的爬虫请求。

18、本说明书实施例提供的一种反爬虫方法,获取待处理的爬虫请求;基于所述待处理的爬虫请求与动态规则库进行匹配,获得匹配结果,所述动态规则库包括混淆特征及变化特征,所述混淆特征为基于已有的爬虫请求的特征参数进行混淆获得,所述变化特征为基于所述混淆特征进行特征变化获得;若所述匹配结果与当前系统所用的规则不一致,拒绝所述待处理的爬虫请求,能够动态实现动态规则库的调整,从而适应不断变化的网络环境和爬虫攻击手段,增强反爬虫的防御能力,增加爬虫的难度指数;且具有灵活性强的特点,不会影响二次正常开发。



技术特征:

1.一种反爬虫方法,其特征在于,所述反爬虫方法包括:

2.如权利要求1所述的反爬虫方法,其特征在于,所述混淆特征为基于已有的爬虫请求的特征参数进行混淆获得,具体包括:

3.如权利要求2所述的反爬虫方法,其特征在于,所述基于所述有效爬虫请求中的各个特征参数的属性取值范围进行排序,生成字符串,将所述字符串进行加密,获得所述混淆特征,具体包括:

4.如权利要求1所述的反爬虫方法,其特征在于,所述变化特征为基于所述混淆特征进行特征变化获得,具体包括:

5.如权利要求4所述的反爬虫方法,其特征在于,所述时间变化为基于爬虫活动频率、和/或用户行为模式、和/或系统负载及性能的变化;

6.如权利要求5所述的反爬虫方法,其特征在于,所述基于时间变化、和/或请求次数变化、和/或随机变化对所述混淆特征进行特征变化,获得所述变化特征,具体包括:

7.如权利要求1所述的反爬虫方法,其特征在于,所述动态规则库进一步包括:

8.如权利要求7所述的反爬虫方法,其特征在于,所述基于网络环境检测结果、爬虫攻击类型、用户行为分析结果对所述动态规则库实时进行更新,具体包括:

9.一种反爬虫装置,其特征在于,所述反爬虫装置包括:

10.一种电子设备,包括:


技术总结
本说明书实施例公开了一种反爬虫方法、装置及设备。所述反爬虫方法包括:获取待处理的爬虫请求;基于所述待处理的爬虫请求与动态规则库进行匹配,获得匹配结果,所述动态规则库包括混淆特征及变化特征,所述混淆特征为基于已有的爬虫请求的特征参数进行混淆获得,所述变化特征为基于所述混淆特征进行特征变化获得;若所述匹配结果与当前系统所用的规则不一致,拒绝所述待处理的爬虫请求。

技术研发人员:刘飞凡
受保护的技术使用者:北京盘拓数据科技有限公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1832849.html

最新回复(0)