要跑个Python数据，数据还挺大的-aihoom

有什么好的解决方法吗？或者上杜甫？ 一共30G的Q号码需要MD5加密 还要能够解密回来。

热议
推荐楼 airbnb 9小时前

哪下载的几千万条qq数据，老哥，分享一下ed2k或磁力链

2楼 Salta 昨天23:41

MD5加密，还要解回来？
那我推荐你使用hash map 这种数据结构，然后跑起来，按照 QQ：MD5 这样键值对存放到Redis， 30G，你得弄个32G内存的机器，就OK了。

哦不对，算上加密后的数据，你得需要64G内存的机器，就好

3楼 aihoom 昨天23:49

MD5加密，还要解回来？
那我推荐你使用hash map 这种数据结构，然后跑起来，按照 QQ：MD5 这样键值对存放到 ...

卧槽 得上这么大内存的啊

4楼 Salta 10小时前

卧槽 得上这么大内存的啊

其实也用不了，只要不追求极致速度，还是可以把数据落到硬盘，得看实际有多少个QQ，如果是一两千万QQ，可以做MySQL主键索引，性能虽然没内存的Redis好，但获取数据也就0.1-0.2S，也算很快了。
如果大于两千万条QQ， 如果你能对QQ分表存储的话，例如 QQ尾号0-9 分别储存至0-9个表，然后再给这每个表做索引，那么存一亿条数据也算没啥问题的。
其次，首次加密30GQQ号为MD5的话，就需要看你CPU的算力了。
办法总比困难多。

6楼 bill8o23 9小时前

哪下载, 同求

7楼 何处不惹尘埃 8小时前

啥数据啊, 想看看样本 hhhh

8楼 artbaby 8小时前

redis存储键值对本身结构体也是要占内存的，比如链表指针、过期时间等，我记得最少50几字节吧，再乘数量算一算，还要考虑分片

9楼 gundam06ms 8小时前

明人不说暗话，数据发给我，我帮你看看

10楼 artbaby 8小时前

你直接分库或者分表呗，反正数字都是有排序的，比如说1000万数据做一张表，分几百张表，查号之前先除以1000就知道在哪个表了

12楼 拉斯 4小时前

计算md5吃cpu，所以不用上大内存追求极致速度了，找个好点的u跑程序，计算完了可以放mysql，查询慢上es就行。

13楼 wuxudd 4小时前

md5加密？还要解密？你是要跑彩虹表吗？

14楼 longkulo 1小时前

这点数据没多少的,sqlite数据库都能搞定

申明：本文内容由网友收集分享，仅供学习参考使用。如文中内容侵犯到您的利益，请在文章下方留言，本站会第一时间进行处理。