放网站根目录下似乎无效
狗日的百度正经内容不爬，OD的API都被爬爆了
热议
2楼 马博士 昨天20:23
你搞这玩意干啥？屏蔽谷歌百度？
3楼 optimism 昨天20:23
大佬可能在吃饭呢
4楼 本人马保国 昨天20:25
防火墙给蜘蛛IP屏蔽
5楼 yyds 昨天20:25
分线路解析，搜索引擎全部乱解析不就好了
6楼 药娘 昨天20:32
user-agent: *
disallow: /
然而据说度娘并不遵守robots协议
7楼 就这样了s 昨天20:43
试试theme目录？
8楼 逸笙 昨天21:46
不知道伪静态怎么工作的吗？？
OneManager的目标就是所有abc.com/xxx.jpg都会访问到onedrive去，坚决不让浏览器能接触到程序本体任何文件。
所以你想让google访问你的abc.com/robot.txt，你觉得它应该会在哪里？
另外，同理，你有处理过favicon.ico吗？
9楼 chensbo 昨天22:01
不知道伪静态怎么工作的吗？？
OneManager的目标就是所有abc.com/xxx.jpg都会访问到onedrive去，坚决 ...
多谢作者大佬指点，我把robots扔到OD里了，看看能不能生效
申明：本文内容由网友收集分享，仅供学习参考使用。如文中内容侵犯到您的利益，请在文章下方留言，本站会第一时间进行处理。