网站被恶意机器人(网页爬虫)抓取怎么办?

最近主机吧发现网站服务器网盘也在大量增加,而且带宽也出现了增加,这也导致网站出现了一定程度的卡慢。

为此,主机吧查询了下网站日志,发现恶意机器人软件在大量请求网站,已经达到了疯狂的地步。

每秒种爬行了N次,虽然影响不大,但是如果主机吧开启缓存功能的话,这些爬虫可以在一小时之内产生大量的垃圾缓存文件,非常恶心。

解决主机吧的应对办法是启用WAF应用防火墙,如百度云防护京东云星盾都可以拦截,刚好主机吧代理了这两款产品,考虑到SEO可能好一些,主机吧使用了百度云防护来进行防护。

成功接入,解析百度云防护cname记录,并部署SSL后,我们等待进入防护模板功能,创建防御模板。

开启CC防护,开启自定义访问策略,并添加策略。

策略选User-Agent 包含 然后写Wget/1.21.1,因为从请求日志可以看出,这个恶意爬虫的UA是Wget/1.21.1

点确认保存后,我们再进入百度云防护域名接入配置,开启自定义防护

选择刚创建的防御模板,保存。

然后我们等5分钟左右就可以正常拦截了。

通过这件事,我们需要意识到,网站运营选择安全CDN是非常重要的,现在互联网上的爬虫实在太多了,这些爬虫有是为了攻击,有的是为了采集,有的是为了抓取网站漏洞。安全CDN不仅可以给网站加速,还可以给网站做安全防护,是网站建设必备工具。

安全CDN我们推荐使用百度云防护、京东云星盾。

百度云防护介绍:https://www.yunjiasu.cc/shangdian/81.html

京东云星盾介绍:https://www.yunjiasu.cc/shangdian/59.html

给TA打赏
共{{data.count}}人
人已打赏
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
在线客服
云加速客服
哈喽,欢迎光临云加速!
2024-09-30 04:08:19
您好,有什么需要帮助的吗?
您的工单我们已经收到,我们将会尽快跟您联系!
[业务咨询]
176363189
业务咨询
[紧急咨询]
17307799197
[投诉建议]
sudu@yunjiasu.cc
取消

选择聊天工具: