⼩⼼避坑：MySQL分页时使⽤limit+orderby会出现数据重复问
题
点击上⽅“Java之间”，选择“置顶或者星标”
你关注的就是我关⼼的！
来源：www.jianshu/p/544c319fd838
上⼀篇：
1、问题描述
在MySQL中我们通常会采⽤limit来进⾏翻页查询，⽐如limit(0,10)表⽰列出第⼀页的10条数据，limit(10,10)表⽰列出第⼆页。但是，当limit遇到order by的时候，可能会出现翻到第⼆页的时候，竟然⼜出现了第⼀页的记录。
具体如下：
SELECT
`post_title`,
`post_date`
FROM
post
WHERE
`post_status` = 'publish'
ORDER BY
view_count desc
LIMIT
5, 5
使⽤上述SQL查询的时候，很有可能出现和LIMIT 0,5相同的某条记录。⽽如果使⽤如下⽅式，则不会出现重复的情况：
SELECT
*
FROM
post
WHERE
post_status = 'publish'
ORDER BY
view_count desc
LIMIT
5, 5
但是，由于post表的字段很多，仅仅希望⽤这两个字段，不想把post_content也查出来。为了解决这个情况，在ORDER BY后⾯使⽤了两个排序条件来解决这个问题，如下：
SELECT
`post_title`,
`post_date`
FROM
post
WHERE
`post_status` = 'publish'
ORDER BY
view_count desc,
ID asc
LIMIT
5, 5
按理来说，MySQL的排序默认情况下是以主键ID作为排序条件的，也就是说，如果在view_count相等的情况下，主键ID作为默认的排序条件，不需要我们多此⼀举加ID asc。但是事实就是，MySQL再order by和limit混⽤的时候，出现了排序的混乱情况。
2、分析问题
在MySQL 5.6的版本上，优化器在遇到order by limit语句的时候，做了⼀个优化，即 使⽤了priority queue。
使⽤ priority queue 的⽬的，就是在不能使⽤索引有序性的时候，如果要排序，并且使⽤了limit n，那么只需要在排序的过程中，保留n条记录即可，这样虽然不能解决所有记录都需要排序的开销，但是只需要 sort buffer 少量的内存就可以完成排序。
之所以MySQL 5.6出现了第⼆页数据重复的问题，是因为 priority queue 使⽤了堆排序的排序⽅法，⽽堆排序是⼀个不稳定的排序⽅法，也就是相同的值可能排序出来的结果和读出来的数据顺序不⼀致。
MySQL 5.5 没有这个优化，所以也就不会出现这个问题。
也就是说，MySQL 5.5是不存在本⽂提到的问题的，5.6版本之后才出现了这种情况。
再看下MySQL解释sql语⾔时的执⾏顺序：
(1)    SELECT
(2)    DISTINCT <select_list>
(3)    FROM <left_table>
(4)    <join_type> JOIN <right_table>
(5)    ON <join_condition>
(6)    WHERE <where_condition>
(7)    GROUP BY <group_by_list>
(8)    HAVING <having_condition>
(9)    ORDER BY <order_by_condition>
mysql删除重复的数据保留一条
(10)    LIMIT <limit_number>
执⾏顺序依次为 form… where… select… order by… limit…，由于上述priority queue的原因，在完成select之后，所有记录是以堆排序的⽅法排列的，在进⾏order by时，仅把view_count值⼤的往前移动。
但由于limit的因素，排序过程中只需要保留到5条记录即可，view_count并不具备索引有序性，所以当第⼆页数据要展⽰时，mysql见到哪⼀条就拿哪⼀条，因此，当排序值相同的时候，第⼀次排序是随意排的，第⼆次再执⾏该sql的时候，其结果应该和第⼀次结果⼀样。
3、解决⽅法
(1) 索引排序字段
如果在字段添加上索引，就直接按照索引的有序性进⾏读取并分页，从⽽可以规避遇到的这个问题。
(2) 正确理解分页
分页是建⽴在排序的基础上，进⾏了数量范围分割。排序是数据库提供的功能，⽽分页却是衍⽣出来的应⽤需求。
在MySQL和Oracle的官⽅⽂档中提供了limit n和rownum < n的⽅法，但却没有明确的定义分页这个概念。
还有重要的⼀点，虽然上⾯的解决⽅法可以缓解⽤户的这个问题，但按照⽤户的理解，依然还有问题：⽐如，这个表插⼊⽐较频繁，⽤户查询的时候，在read-committed的隔离级别下，第⼀页和第⼆页仍然会有重合。
所以，分页⼀直都有这个问题，不同场景对数据分页都没有⾮常⾼的准确性要求。
(3) ⼀些常见的数据库排序问题
不加order by的时候的排序问题
⽤户在使⽤Oracle或MySQL的时候，发现MySQL总是有序的，Oracle却很混乱，这个主要是因为Oracle是堆表，MySQL是索引聚簇表的原因。所以没有order by的时候，数据库并不保证记录返回的顺序性，并且不保证每次返回都⼀致的。
分页问题 分页重复的问题
如前⾯所描述的，分页是在数据库提供的排序功能的基础上，衍⽣出来的应⽤需求，数据库并不保证分页的重复问题。
NULL值和空串问题
不同的数据库对于NULL值和空串的理解和处理是不⼀样的，⽐如Oracle NULL和NULL值是⽆法⽐较的，既不是相等也不是不相等，是未知的。⽽对于空串，在插⼊的时候，MySQL是⼀个字符串长度为0的空串，⽽Oracle则直接进⾏NULL值处理。
最近热⽂阅读：
1、
2、
3、
4、
5、
6
7、
8、
9、
10
关注，你想要的Java都在这⾥

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。