首页 > 帮助中心 > 动态IP加速器网络资讯 > 正文

常见的反爬虫的表现形式有哪些

    众所周知,不同的网站有不同的反爬虫策略,对于网络爬虫的限制也不一样,常见的情况大致可以分为以下3类:
 
 
    一、不返回网页,如不返回内容和延迟网页返回时间。
 
    不返回网页是比较传统的反爬虫手段,也就是在爬虫发送请求给相应网站地址后,网站返回404页面,表示服务器无法正常提供信息或服务器无法回应;网站也可能长时间不返回数据,这代表对爬虫已经进行了封杀。
 
    二、返回数据非目标网页,如返回错误页、返回空白页和爬取多页时均返回同一页。
 
    除了不返回网页外,还有爬虫返回非目标网页,也就是网站会返回假数据,如返回空白页或爬取多页的时候返回了同一页。当你的爬虫顺利地运行起来,你开开心心地去做其他事情了,结果半个小时之后发现爬取的每一页的结果都是一样的,这就是获取了假的网站。
 
    例如在去哪儿网的机票价格页面,网上标注的价格居然和html源码不一样。例如某机票在网上标注的价格是530元,但是在html源码中的机票价格是538元。这样的方式除了去哪儿网,在猫眼电影和斗鱼直播中都有使用,爬取下来的数字和真实的数字会不一样。
 
    三、增加获取数据的难度,如登录才可查看和登录时设置验证码。
 
    网站也会通过增加获取数据的难度反爬虫,一般登录才可以查看数据,而且会设置验证码。为了限制爬虫,无论你是否是真正的用户,网站都可能会要求你登录并输入验证码才能访问。例如,12306为了限制自动抢票就采用了严格的验证码功能,需要用户在8张图片中选择正确的选项。
 
    以上就是爬虫工作中经常遇见的三种情况,爬虫工作中需要根据不同的实际情况制定不同的反反爬虫策略,才能顺利的进行工作。

联系我们

QQ群:114693702

服务器线路

全国混拨1:ch01.hunboip.com

全国混拨2:ch02.hunboip.com

山东混拨:sd.hunboip.com

江西混拨:jx.hunboip.com

重庆混拨:cq.hunboip.com

福建混拨:fj.hunboip.com

湖南混拨:hunan.hunboip.com

广东混拨:gd.hunboip.com

河南混拨:henan.hunboip.com

湖北混拨:hb.hunboip.com

吉林混拨:jl.hunboip.com

江苏混拨:js.hunboip.com

辽宁混拨:ln.hunboip.com

山西混拨:sx.hunboip.com

浙江混拨:zj.hunboip.com

安徽混拨:ah.hunboip.com

四川混拨:sc.hunboip.com