刚那个通用爬虫有感-mengdodo

如果MJJ一起参与到爬虫会怎么样，百度不作为，MJJ一起参与然后超越呢？
利用大家手里的机器一起动起来，用k8s做集群，数据分摊到每台JJ上，然后开放接口给大家，按照贡献度分配调用频次会怎么样，想想都激动哦～

热议
推荐楼 minota 2小时前

搜索引擎的难点在于爬虫吗？根本不是，在于如何把用户想要的信息呈现给他，在于内容结构的存储管理、如何对输入做分词、如何索引到最相关的信息，爬虫只是最简单的第一步罢了

2楼 mengdodo 3小时前

很刑很可铐吗

3楼 DaShi 2小时前

做的再好也没人用啊

4楼 jshkk 2小时前

激动归激动，你别射了就好

5楼 xuanruo0710 2小时前

用歪了谁负责？出机器的人背锅？

6楼 Sage 2小时前

这种规模需要有个专门的团队维护的

8楼 钱多多 2小时前

爬虫爬得欢，监狱要坐穿；数据玩的溜，牢饭吃个够

9楼 bios12567496 1小时前

k8s不会啊

10楼 委员 1小时前

1、基于众筹的事不大可能做起来 2、只是为了方便搞数据，简单修改下就能适配新的源。3、大站/应用已经不提供列表页了，只能逐级爬，爬到没有新url完事

申明：本文内容由网友收集分享，仅供学习参考使用。如文中内容侵犯到您的利益，请在文章下方留言，本站会第一时间进行处理。