大佬们onemanager 怎么部署robots.txt-chensbo

放网站根目录下似乎无效
狗日的百度正经内容不爬，OD的API都被爬爆了

热议
2楼 马博士 昨天20:23

你搞这玩意干啥？屏蔽谷歌百度？

3楼 optimism 昨天20:23

大佬可能在吃饭呢

4楼 本人马保国 昨天20:25

防火墙给蜘蛛IP屏蔽

5楼 yyds 昨天20:25

分线路解析，搜索引擎全部乱解析不就好了

6楼 药娘 昨天20:32

user-agent: *
disallow: /
然而据说度娘并不遵守robots协议

7楼 就这样了s 昨天20:43

试试theme目录？

8楼 逸笙 昨天21:46

不知道伪静态怎么工作的吗？？
OneManager的目标就是所有abc.com/xxx.jpg都会访问到onedrive去，坚决不让浏览器能接触到程序本体任何文件。

所以你想让google访问你的abc.com/robot.txt，你觉得它应该会在哪里？
另外，同理，你有处理过favicon.ico吗？

9楼 chensbo 昨天22:01

不知道伪静态怎么工作的吗？？
OneManager的目标就是所有abc.com/xxx.jpg都会访问到onedrive去，坚决 ...

多谢作者大佬指点，我把robots扔到OD里了，看看能不能生效

申明：本文内容由网友收集分享，仅供学习参考使用。如文中内容侵犯到您的利益，请在文章下方留言，本站会第一时间进行处理。