谷歌蜘蛛爬取太频繁
怎么屏蔽
宝塔nginx伪静态规则
热议
推荐楼 蝙蝠侠 昨天22:51
if ($http_user_agent ~* (google)){ return 403; }
加到NGINX配置文件里边
2楼 gr58046576 昨天22:43
屏蔽干什么？
3楼 沉默的鱼 昨天22:48
屏蔽干什么？
爬到把服务器干爆了
每月流量就20T ，一台能给他爬到1T多。。。
4楼 gr58046576 昨天22:49
爬到把服务器干爆了
每月流量就20T ，一台能给他爬到1T多。。。
有那么夸张？
6楼 vikin 昨天23:01
一天爬二十几万次 4H小鸡根本顶不住 早屏蔽了
7楼 沉默的鱼 昨天23:08
加到NGINX配置文件里边
我是加到站点配置那里
但是加了之后
宝塔上行流量统计还是高
不知道啥情况
8楼 机长 昨天23:09
限制单个IP连接数
9楼 蝙蝠侠 昨天23:26
我是加到站点配置那里
但是加了之后
看网站日志，是因为什么导致资源占用高
10楼 htazq 昨天23:30
楼主这情况八成是被别有用心的人利用google爬虫漏洞攻击了，可以搜索相关关键词
12楼 奧巴马 昨天23:41
蜘蛛又不下载大文件，怎么可能干1t流量
13楼 马杰克 昨天23:46
不一定是真的谷歌爬虫，去日志里翻翻确认一下
14楼 蝙蝠侠 9小时前
返回444不好吗
都可以，我就随手复制一个
15楼 8a38a522 8小时前
robots.txt
申明：本文内容由网友收集分享，仅供学习参考使用。如文中内容侵犯到您的利益，请在文章下方留言，本站会第一时间进行处理。