使用百度云防护拦截openai机器人抓取网站

今天,一但站长反馈网站打开卡慢,查询源服务器后,发现服务器带宽跑满了。

怀疑有攻击,但百度云防护并没有检测到有cc攻击,那可能是某些恶意请求导致的带宽占满,或者服务器被入侵所致。

我们让客户查询下网站请求日志,发现网站出现大量的机器人请求。

如:

Mozilla/5.0+AppleWebKit/537.36+(KHTML,+like+Gecko;+compatible;+GPTBot/1.2;++HTTPs://openai.com/gptbot)

Mozilla/5.0+(compatible;+SemrushBot/7~bl;++http://www.semrush.com/bot.html)

别小看这些机器人,哪果抓取频繁的话可以让服务器长期处于一个带宽非常高的状态,还影响服务器CPU占有率。

因此,我们必须要对这些机器人进行拦截,目前要自动拦截这些互联网恶意机器人,是需要一个叫bot防护功能,价格还是挺贵的,百度云防护也要企业版才有这个功能。

普通专业版虽然不能自动防护恶意机器人,但我们可以利用百度云防护的自定义访问策略进行拦截。

操作很简单,进入防护模板,创建防御策略

添加策略:User-Agent -包含-gptbot 阻断类型:拦截 如下图:

再添加下别的恶意机器人UA,然后在子域名配置开启自定义防护,关联这个模板即可。

我们来看效果,几分钟拦截了上百次恶意抓取。

查看服务器带宽请求,带宽峰值立即下来了。

所以,我们平时不要小看这些恶意机器人,这些机器人的IP段极多,每个IP请求频率并不高,导致防火墙并不会把这些机器人当成恶意攻击,所以不会被拦截。长期以往下,会造成服务器经常带宽 CPU占满。曾经有报告称,互联网上60%的流量来自这些恶意机器人,虽然有些夸张,但现实也差别不大。

所以网站平时使用一个安全CDN是非常重要的,可以针对恶意机器人进行有效拦截。

给TA打赏
共{{data.count}}人
人已打赏
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
在线客服
云加速客服
哈喽,欢迎光临云加速!
2024-07-16 01:13:46
您好,有什么需要帮助的吗?
您的工单我们已经收到,我们将会尽快跟您联系!
[业务咨询]
176363189
业务咨询
[紧急咨询]
17307799197
[投诉建议]
sudu@yunjiasu.cc
取消

选择聊天工具: