最近在研究通用采集爬虫-委员

只要有一个入口就可以把所有内容抓来，并根据分析到的内容标签分类，感觉快做成搜索引擎了

热议
推荐楼 shiyu 1小时前

能来流量普通技术 都好说

2楼 笑花落半世琉璃 昨天19:45

努努力 吧花瓣没做完成的做完

3楼 flyqie 昨天19:47

楼主，你这个想法真可刑。。

注意抓取频率/抓取站点。。。别进去了。。

4楼 nnt 昨天19:47

一个人顶一个google公司对吧

5楼 委员 昨天19:47

楼主，你这个想法真可刑。。

注意抓取频率/抓取站点。。。别进去了。。 ...

当然是挂代理了

6楼 菜单 昨天19:47

老哥那么牛逼了嘛

7楼 委员 昨天19:50

老哥那么牛逼了嘛

找点事做

8楼 表妹 昨天19:51

楼主加油，争取早日蹬缝纫机

9楼 mjjok 昨天19:52

然后开源给mjj使用

10楼 sdqu 昨天19:53

当你觉得做得完美了的时候，回头一看，咦？ 我怎么在发明一个类python语言。

12楼 剁手mjj 昨天22:37

采集什么内容呢。

13楼 KVMCloud 昨天22:40

PY可以实现

14楼 Uscnc 昨天22:54

问：爬虫怎么收费

15楼 ABNER_3036 昨天23:32

前景很光明

16楼 JustDoing 1小时前

华为有个rpa机器人爬虫，可以一键获取页面上的链接以及照片，语法不难，只是感觉不如自行diy

17楼 sojurice 1小时前

真刑！

18楼 shiyu 1小时前

能来流量普通技术 都好说

19楼 ixs 半小时前

那就自己做个搜索引擎

20楼 aRNoLD 27分钟前

有个叫八爪鱼的软件

22楼 mengdodo 15分钟前

单纯的爬html源代码的形式不难，只是后面做语义分词和索引有点难度，再就是爬取的结果怎么安排权重，这地方够发表好几篇论文了

申明：本文内容由网友收集分享，仅供学习参考使用。如文中内容侵犯到您的利益，请在文章下方留言，本站会第一时间进行处理。