虽然可以前面发了几个爬全站的脚本,但是我觉得资源在精不在多,故而打算完成一个通用的套图爬虫,适配多个站点,可以一套一套的下载,而非爬取全站
由于每个站的规则不一样,需要我来写规则,大家可以提供站
站的要求:最好是一个单页面很多图的
目前适配的站点
https://telegra.ph/
https://girlofthehour.com/
https://everia.club/
有想要的站可以评论提交
本地网络有点问题,明天推送到github
站点可以在帖子里提交或者github的issues
python 开发,支持异步下载
github:https://github.com/qianmianyao/SimpleCrawler/issues
热议
推荐楼 danielzi 2小时前
2楼 0048eca662ab154 2小时前
快进到免费放饭环节
3楼 战神赵日天 2小时前
套图的精髓是,无水印原图,成套系列
这种站很赚钱
4楼 iiii.im 2小时前
感谢分享。大概方法是不是检测到图片格式的链接就加入到get
6楼 loveqianool 2小时前
其实写个平台更好,类似蓝天采集器那样
7楼 Ticifer 2小时前
支持
8楼 zhuzi 1小时前
支持一下
9楼 孫笑川 1小时前
希望大佬搞个小草1024的爬虫,目前市面的都不太好用。
10楼 三丫的 1小时前
怎么爬目录啊
申明:本文内容由网友收集分享,仅供学习参考使用。如文中内容侵犯到您的利益,请在文章下方留言,本站会第一时间进行处理。