站点图标 谷姐靓号网

怎么屏蔽假的百度蜘蛛-自来光

Rate this post

    223.111.134.143 - - [19/Jan/2022:10:50:47 +0800] "GET /member/space/person/common/css/css.css HTTP/1.1" 404 146 "https://www.baidu.com/" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html\x09"

很多,都是国内IP

热议

3楼 domin 昨天08:29

$http_user_agent ~* "spider.html..09"

4楼 自来光 昨天08:31

$http_user_agent ~* "spider.html..09"

谢谢大佬我试试

6楼 konks 半小时前

user-agent怎么可能防止假蜘蛛,user-agent都是可以随意更改的,要彻底识别只能DNS反解析这个IP,或者保存蜘蛛IP来判断。
比如Baiduspider的hostname以*.baidu.com或*.baidu.jp 的格式命名,非*.baidu.com或*.baidu.jp即为冒充。

host 111.206.198.69
69.198.206.111.in-addr.arpa domain name pointer baiduspider-111-206-198-69.crawl.baidu.com.

7楼 konks 半小时前

你可以先user-agent判断是蜘蛛的IP保存下来,然后批量host查一下,不是的直接屏蔽

8楼 jaydenlee 半小时前

利用国内大厂云的智能解析分流,然后就容易办了

9楼 自来光 8分钟前

你可以先user-agent判断是蜘蛛的IP保存下来,然后批量host查一下,不是的直接屏蔽 ...

效率不高,并且这是国内IP
我还不如直接短暂屏蔽IP段

申明:本文内容由网友收集分享,仅供学习参考使用。如文中内容侵犯到您的利益,请在文章下方留言,本站会第一时间进行处理。

退出移动版