- 223.111.134.143 - - [19/Jan/2022:10:50:47 +0800] "GET /member/space/person/common/css/css.css HTTP/1.1" 404 146 "https://www.baidu.com/" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html\x09"
很多，都是国内IP
热议
3楼 domin 昨天08:29
$http_user_agent ~* "spider.html..09"
4楼 自来光 昨天08:31
$http_user_agent ~* "spider.html..09"
谢谢大佬我试试
6楼 konks 半小时前
user-agent怎么可能防止假蜘蛛，user-agent都是可以随意更改的，要彻底识别只能DNS反解析这个IP，或者保存蜘蛛IP来判断。
比如Baiduspider的hostname以*.baidu.com或*.baidu.jp 的格式命名，非*.baidu.com或*.baidu.jp即为冒充。
host 111.206.198.69
69.198.206.111.in-addr.arpa domain name pointer baiduspider-111-206-198-69.crawl.baidu.com.
7楼 konks 半小时前
你可以先user-agent判断是蜘蛛的IP保存下来，然后批量host查一下，不是的直接屏蔽
8楼 jaydenlee 半小时前
利用国内大厂云的智能解析分流，然后就容易办了
9楼 自来光 8分钟前
你可以先user-agent判断是蜘蛛的IP保存下来，然后批量host查一下，不是的直接屏蔽 ...
效率不高，并且这是国内IP
我还不如直接短暂屏蔽IP段
申明：本文内容由网友收集分享，仅供学习参考使用。如文中内容侵犯到您的利益，请在文章下方留言，本站会第一时间进行处理。