站点图标 谷姐靓号网

要跑个Python数据,数据还挺大的-aihoom

Rate this post

有什么好的解决方法吗?或者上杜甫? 一共30G的Q号码需要MD5加密 还要能够解密回来。

热议
推荐楼 airbnb 9小时前

哪下载的几千万条qq数据,老哥,分享一下ed2k或磁力链

2楼 Salta 昨天23:41

MD5加密,还要解回来?
那我推荐你使用hash map 这种数据结构,然后跑起来,按照 QQ:MD5 这样键值对存放到Redis, 30G,你得弄个32G内存的机器,就OK了。

哦不对,算上加密后的数据,你得需要64G内存的机器,就好

3楼 aihoom 昨天23:49

MD5加密,还要解回来?
那我推荐你使用hash map 这种数据结构,然后跑起来,按照 QQ:MD5 这样键值对存放到 ...

卧槽 得上这么大内存的啊

4楼 Salta 10小时前

卧槽 得上这么大内存的啊

其实也用不了,只要不追求极致速度,还是可以把数据落到硬盘,得看实际有多少个QQ,如果是一两千万QQ,可以做MySQL主键索引,性能虽然没内存的Redis好,但获取数据也就0.1-0.2S,也算很快了。
如果大于两千万条QQ, 如果你能对QQ分表存储的话,例如 QQ尾号0-9 分别储存至0-9个表,然后再给这每个表做索引,那么存一亿条数据也算没啥问题的。
其次,首次加密30GQQ号为MD5的话,就需要看你CPU的算力了。
办法总比困难多。

6楼 bill8o23 9小时前

哪下载, 同求

7楼 何处不惹尘埃 8小时前

啥数据啊, 想看看样本 hhhh

8楼 artbaby 8小时前

redis存储键值对本身结构体也是要占内存的,比如链表指针、过期时间等,我记得最少50几字节吧,再乘数量算一算,还要考虑分片

9楼 gundam06ms 8小时前

明人不说暗话,数据发给我,我帮你看看

10楼 artbaby 8小时前

你直接分库或者分表呗,反正数字都是有排序的,比如说1000万数据做一张表,分几百张表,查号之前先除以1000就知道在哪个表了

12楼 拉斯 4小时前

计算md5吃cpu,所以不用上大内存追求极致速度了,找个好点的u跑程序,计算完了可以放mysql,查询慢上es就行。

13楼 wuxudd 4小时前

md5加密?还要解密?你是要跑彩虹表吗?

14楼 longkulo 1小时前

这点数据没多少的,sqlite数据库都能搞定

申明:本文内容由网友收集分享,仅供学习参考使用。如文中内容侵犯到您的利益,请在文章下方留言,本站会第一时间进行处理。

退出移动版