一开始用的2+2配置。蜘蛛一来。cpu直接爆。怀疑配置低了
现在升级为E3-124632G内存独服。蜘蛛一来还是直接爆
cc策略对Google蜘蛛没用。因为都不是单ipGet。只有单个封ip。但是Google太多ip了
求一份Google蜘蛛ip名单。直接套用。应该有mjj收集了吧
热议
推荐楼 konks 3小时前
你程序有问题，优化优化吧
3楼 tianky 3小时前
蜘蛛能有多少并发。肯定程序有问题
4楼 toot 3小时前
你程序有问题，优化优化吧
这点还是懂的哈。就是蜘蛛太多
5楼 winamp 3小时前
屏蔽蜘蛛，，
6楼 笑花落半世琉璃 3小时前
你以为是蜘蛛，实际上怕不是一堆采集捞
7楼 ceng 3小时前
屏蔽c段 66开的很恶心
8楼 zinc 3小时前
咦 robot.txt 限制没用吗？
9楼 aeo 3小时前
什么站，发出来让MJJ们帮你考验考验
10楼 toot 3小时前
咦 robot.txt 限制没用吗？
这个我倒是全部设为允许的。也不敢动这个啊。怕掉收录。权重还挺高
12楼 junhan 3小时前
这点还是懂的哈。就是蜘蛛太多
我前些天也是，一天三四十万GOOGLE蜘蛛
13楼 大会员 3小时前
https://iflynote.com/h/s/doc/Gr2QeurCnhijwZ5J《谷歌蜘蛛IP》
14楼 toot 3小时前
我前些天也是，一天三四十万GOOGLE蜘蛛
对。我3个站。访问日志1分钟就产生5-10M日志。全是各大引擎bot。Google最严重。几天下来访问日志都有好几个G
15楼 allnetstore 3小时前
验证一下IP吧，google不会这样爬的
https://developers.google.com/search/docs/advanced/crawling/verifying-googlebot
16楼 zinc 3小时前
这个我倒是全部设为允许的。也不敢动这个啊。怕掉收录。权重还挺高
哦哦我还以为是想彻底屏蔽蜘蛛
17楼 chongqi 3小时前
杜甫也爆那肯定是其他问题。。我typecho博客一天爬虫没那么多也就几万用的cc的2c2g的vps屁事没有
18楼 Unique 3小时前
假装爬虫的cc？
19楼 junhan 3小时前
假装爬虫的cc？
有这个可能假装爬虫采集。
但Google蜘蛛有时候来的确实很厉害，一天几十万次，CF防火墙临时设置GG user-agent 访问验证测试了一下，后台拦住的全是GOOGLE的IP，还真不是伪装。
20楼 乌鸦 3小时前
其实,google蜘蛛真不至于爬挂你的服务器.要么服务器不行,要么你程序不行.
22楼 爱因斯坦 2小时前
蜘蛛都怕 还是关机删库吧
23楼 cnmkdq 2小时前
蜘蛛的功能不是爆CPU用的，所以应先考虑自身的问题
申明：本文内容由网友收集分享，仅供学习参考使用。如文中内容侵犯到您的利益，请在文章下方留言，本站会第一时间进行处理。