MySQL删除重复语句-igoogle

首先说，数据量比较大，单表有超过600万条记录，

用什么语句查找删除重复，效率会比较高？

热议
推荐楼 晴晴晴 5小时前

drop

推荐楼 mengdodo 5小时前

truncate table

2楼 中级会员 5小时前

www.google.com

4楼 蓝色梦想 5小时前

先按照重复字段排序建个视图，
然后查找下一条是否跟本条一样，一样的话就删除。
这样 可以省去每条都全表查询

5楼 heihai 5小时前

https://www.baidu.com/s?wd=mysql%E5%8E%BB%E9%87%8D

6楼 菜单 5小时前

www.google.com

你这ID跟组别一样啊。

7楼 igoogle 5小时前

先按照重复字段排序建个视图，
然后查找下一条是否跟本条一样，一样的话就删除。
这样 可以省去每条都全表 ...

我开始是用select，效率很低，半天没动静。。卡死。。

9楼 hising 5小时前

为啥回不了帖子。。

10楼 920 5小时前

我开始是用select，效率很低，半天没动静。。卡死。。

有索引不会慢吧，一次性用的话group by 然后把数据插入新表。

12楼 igoogle 5小时前

为啥回不了帖子。。

感谢大佬。。。
但是因为这个字段中，有的值很长，是longtext类型，没办法建立索引啊。。

13楼 菜单 5小时前

卧槽，是不是卡bug了啊

赶紧升级就好了

14楼 igoogle 5小时前

有索引不会慢吧，一次性用的话group by 然后把数据插入新表。

大佬，字段是longtext类型，建立不了索引，有啥其它办法吗。。

15楼 beng 5小时前

1.删一次：常规方法等 2.需要定期删除：添加一个md5字段

16楼 hising 5小时前

感谢大佬。。。
但是因为这个字段中，有的值很长，是longtext类型，没办法建立索引啊。。 ...

你要根据 longtext字段内容去重？？？这个可是大工作量啊，不能用其他字段来判断重复吗？这样把需要判重的字段加上索引应该就可以了

17楼 脆咩 3小时前

对重复列的值进行分组统计查询

18楼 920 半小时前

大佬，字段是longtext类型，建立不了索引，有啥其它办法吗。。

新建一个字段比如 title_md5，MD5 他，然后建立索引.文本没索引去重会炸

19楼 920 半小时前

有用redis的话，利用redis 的集合去重也会方便点，MD5(文本)，然后通过sadd 方式加入redis，返回1就记录当前数据的ID。 插入新表或者等sadd 返回0的时候 删除当前 文本对应ID的数据。这样就去重了

20楼 月の天使 28分钟前

groupby,导出，drop，导入

22楼 igoogle 11分钟前

有用redis的话，利用redis 的集合去重也会方便点，MD5(文本)，然后通过sadd 方式加入redis，返回1就记录当 ...

没用redis啊，不会搞。
我用的是Memcached

23楼 igoogle 10分钟前

groupby,导出，drop，导入

多谢大佬。。

24楼 dogeCoin 41秒前

truncate table

楼主正解啊

申明：本文内容由网友收集分享，仅供学习参考使用。如文中内容侵犯到您的利益，请在文章下方留言，本站会第一时间进行处理。