怎么屏蔽假的百度蜘蛛-自来光

223.111.134.143 - - [19/Jan/2022:10:50:47 +0800] "GET /member/space/person/common/css/css.css HTTP/1.1" 404 146 "https://www.baidu.com/" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html\x09"

很多，都是国内IP

热议

3楼 domin 昨天08:29

$http_user_agent ~* "spider.html..09"

4楼 自来光 昨天08:31

$http_user_agent ~* "spider.html..09"

谢谢大佬我试试

6楼 konks 半小时前

user-agent怎么可能防止假蜘蛛，user-agent都是可以随意更改的，要彻底识别只能DNS反解析这个IP，或者保存蜘蛛IP来判断。
比如Baiduspider的hostname以*.baidu.com或*.baidu.jp 的格式命名，非*.baidu.com或*.baidu.jp即为冒充。

host 111.206.198.69
69.198.206.111.in-addr.arpa domain name pointer baiduspider-111-206-198-69.crawl.baidu.com.

7楼 konks 半小时前

你可以先user-agent判断是蜘蛛的IP保存下来，然后批量host查一下，不是的直接屏蔽

8楼 jaydenlee 半小时前

利用国内大厂云的智能解析分流，然后就容易办了

9楼 自来光 8分钟前

你可以先user-agent判断是蜘蛛的IP保存下来，然后批量host查一下，不是的直接屏蔽 ...

效率不高，并且这是国内IP
我还不如直接短暂屏蔽IP段

申明：本文内容由网友收集分享，仅供学习参考使用。如文中内容侵犯到您的利益，请在文章下方留言，本站会第一时间进行处理。