爬网站遇到只能100页的怎么整-NEET姬

一些网站翻页只能翻到100页 剩下的翻不了
这要怎么解决呢

热议
推荐楼 muyu 昨天23:41

这网站，老哥注意身体呀

推荐楼 mubazhe 昨天23:13

你也不说网站跟工具 是打算让我们算卦给你算出问题嘛？

推荐楼 笑花落半世琉璃 昨天23:12

啊？这种不都是直接url变参数吗？

4楼 NEET姬 昨天23:15

啊？这种不都是直接url变参数吗？

就是变参数呀，问题是他这个网站翻页只能翻到100页，用了各种分类、关键词搜索都是只能到100页

5楼 笑花落半世琉璃 昨天23:18

就是变参数呀，问题是他这个网站翻页只能翻到100页，用了各种分类、关键词搜索都是只能到100页 ...

。。。。。怎么可能会做这种限制，那参数调完的链接，你自己复制到浏览器上访问看看

6楼 NEET姬 昨天23:22

。。。。。怎么可能会做这种限制，那参数调完的链接，你自己复制到浏览器上访问看看 ...

就是不行呀
https://jojodl.com/
这个网站 你可以看看

7楼 Chriss 昨天23:23

就是不行呀
https://jojodl.com/
这个网站 你可以看看

人家只有一百页啊

8楼 NEET姬 昨天23:25

人家只有一百页啊

数据不止100页的 但是100页后面的就翻不了了

9楼 hezuogongying 昨天23:32

他网站设置成只显示100页，只能从其他方面想方法，列表页没办法了

10楼 ApkB 昨天23:36

防爬啊，所以只给展示100页，你能有什么办法

12楼 求道 昨天23:39

爬虫是能看见的都能爬，现在你看都看不见怎么爬
除非你入侵脱库，要不然只能拿hash去撞。只能入侵脱库才能获取完整列表。

13楼 muyu 昨天23:41

这网站，老哥注意身体呀

14楼 phpsky 昨天23:56

不会是采集的我的吧 限制页码了

15楼 peng123 19小时前

phpsky 发表于 2021-6-30 23:56
不会是采集的我的吧 限制页码了

自首吧，争取宽大处理。

16楼 专业黑人抬棺 1小时前

你改成分类栏目采集啊

这样不就是每个栏目100页了没，比首页100多很多了

17楼 yrj 26分钟前

这不是很正常嘛？防止把数据库拖慢

18楼 gick 24分钟前

整个站down下来

19楼 NVMe 21分钟前

换个目标网站把 nyaa 你值得拥有

20楼 华为任正非 19分钟前

不是防爬，分页很耗费服务器资源的，页数越多越耗CPU，所以他们做限制了。

申明：本文内容由网友收集分享，仅供学习参考使用。如文中内容侵犯到您的利益，请在文章下方留言，本站会第一时间进行处理。