MySQL根据某一个或者多个字段查找重复数据，并且保留某字段值最大的记录

最新推荐文章于 2026-03-30 21:05:25 发布

原创最新推荐文章于 2026-03-30 21:05:25 发布 · 4.3w 阅读

36 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

database

本文介绍了解决数据库中因并发操作导致的重复记录问题的方法。包括通过建立唯一索引预防重复，以及利用SQL语句对已存在的重复记录进行查找与删除。针对不同业务需求，提供了对单一字段及多个字段去重的具体实现。

问题场景

当系统没有处理好并发操作的情况下，操作人员同时操作一张表的情况下，数据库有可能被插入相同记录，这些会带来隐藏的bug。

解决思路一

解决并发操作的冲突。

解决思路二

对数据库（MySQL）某张表去重，首先确定你的业务是否允许重复，不允许你重复的话可以建立唯一索引和联合唯一索引来保证记录不重复，但如果出现了重复记录，怎么办？请看下文。

情况一：对一个字段查找重复记录

表数据：这里写图片描述
a. 首先根据sample_code字段找到重复记录

SELECT * FROM tb_table WHERE sample_code IN(
SELECT sample_code FROM tb_table GROUP BY sample_code HAVING COUNT(sample_code) > 1
);

这里写图片描述
b. 删除重复记录，只保留id字段值最大的记录

delete from tb_table where id not in (select maxid from (select max(id) as maxid from tb_table group by sample_code) b);

使用select语句查看结果如下图：
这里写图片描述

情况二：对多个字段查找重复记录（这里以2个为例）

表数据：
这里写图片描述
a. 首先根据name和code字段找到重复记录

SELECT * from (SELECT *, CONCAT(name,code) as nameAndCode from tb_table) t WHERE t.nameAndCode in 
(
    SELECT nameAndCode from (SELECT CONCAT(name,code) as nameAndCode from tb_table) tt GROUP BY nameAndCode HAVING count(nameAndCode) > 1
)

这里写图片描述
b. 删除重复记录，只保留id字段值最大的记录

DELETE from tb_table WHERE id not in 
(
    SELECT maxid from (SELECT MAX(id) as maxid, CONCAT(name,code) as nameAndCode from tb_table GROUP BY nameAndCode) t
)