-
MySQL分页到了后面越来越慢,有什么好的解决办法?
- 网站名称:MySQL分页到了后面越来越慢,有什么好的解决办法?
- 网站分类:技术文章
- 收录时间:2025-08-03 01:42
- 网站地址:
“MySQL分页到了后面越来越慢,有什么好的解决办法?” 网站介绍
开发经常遇到分页查询的需求,但是当翻页过多的时候,就会产生深分页,导致查询效率急剧下降。
有没有什么办法,能解决深分页的问题呢?
本文总结了三种优化方案,查询效率直接提升10倍,一起学习一下。
1. 准备数据
先创建一张用户表,只在create_time字段上加索引:
作者:一灯架构
链接:
https://www.zhihu.com/question/432910565/answer/2557661575
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
CREATE TABLE `user` (
`id` int NOT NULL AUTO_INCREMENT COMMENT '主键',
`name` varchar(255) DEFAULT NULL COMMENT '姓名',
`create_time` timestamp NULL DEFAULT NULL COMMENT '创建时间',
PRIMARY KEY (`id`),
KEY `idx_create_time` (`create_time`)
) ENGINE=InnoDB COMMENT='用户表';
然后往用户表中插入100万条测试数据,这里可以使用存储过程:
drop PROCEDURE IF EXISTS insertData;
DELIMITER $
create procedure insertData()
begin
declare i int default 1;
while i <= 100000 do
INSERT into user (name,create_time) VALUES (CONCAT("name",i), now());
set i = i + 1;
end while;
end $
call insertData() $
2. 验证深分页问题
每页10条,当我们查询第一页的时候,速度很快:
select * from user
where create_time>'2022-07-03'
limit 0,10;
在不到0.01秒内直接返回了,所以没显示出执行时间。
当我们翻到第10000页的时候,查询效率急剧下降:
select * from user
where create_time>'2022-07-03'
limit 100000,10;
执行时间变成了0.16秒,性能至少下降了几十倍。
耗时主要花在哪里了?
- 需要扫描前10条数据,数据量较大,比较耗时
- create_time是非聚簇索引,需要先查询出主键ID,再回表查询,通过主键ID查询出所有字段
画一下回表查询流程:
1. 先通过create_time查询出主键ID
2. 再通过主键ID查询出表中所有字段
别问为什么B+树的结构是这样的?问就是规定。
可以看一下前两篇文章。
可以看一下前两篇文章。
MySQL索引底层实现为什么要用B+树?
一篇文章讲清楚MySQL的聚簇/联合/覆盖索引、回表、索引下推
然后我们就针对这两个耗时原因进行优化。
3. 优化查询
3.1 使用子查询
先用子查询查出符合条件的主键,再用主键ID做条件查出所有字段。
select * from user
where id in (
select id from user
where create_time>'2022-07-03'
limit 100000,10
);
不过这样查询会报错,说是子查询中不支持使用limit。
我们加一层子查询嵌套,就可以了:
select * from user
where id in (
select id from (
select id from user
where create_time>'2022-07-03'
limit 100000,10
) as t
);
执行时间缩短到0.05秒,减少了0.12秒,相当于查询性能提升了3倍。
为什么先用子查询查出符合条件的主键ID,就能缩短查询时间呢?
我们用explain查看一下执行计划就明白了:
explain select * from user
where id in (
select id from (
select id from user
where create_time>'2022-07-03'
limit 100000,10
) as t
);
可以看到Extra列显示子查询中用到Using index,表示用到了覆盖索引,所以子查询无需回表查询,加快了查询效率。
3.2 使用inner join关联查询
把子查询的结果当成一张临时表,然后和原表进行关联查询。
select * from user
inner join (
select id from user
where create_time>'2022-07-03'
limit 100000,10
) as t on user.id=t.id;
查询性能跟使用子查询一样。
3.3 使用分页游标(推荐)
实现方式就是:当我们查询第二页的时候,把第一页的查询结果放到第二页的查询条件中。
例如:首先查询第一页
select * from user
where create_time>'2022-07-03'
limit 10;
然后查询第二页,把第一页的查询结果放到第二页查询条件中:
select * from user
where create_time>'2022-07-03' and id>10
limit 10;
这样相当于每次都是查询第一页,也就不存在深分页的问题了,推荐使用。
执行耗时是0秒,查询性能直接提升了几十倍。
这样的查询方式虽然好用,但是又带来一个问题,就是无法跳转到指定页数,只能一页页向下翻。
所以这种查询只适合特定场景,比如资讯类APP的首页。
互联网APP一般采用瀑布流的形式,比如百度首页、头条首页,都是一直向下滑动翻页,并没有跳转到制定页数的需求。
不信的话,可以看一下,这是头条的瀑布流:
传参中带了上一页的查询结果。
响应数据中,返回了下一页查询条件。
所以这种查询方式的应用场景还是挺广的,赶快用起来吧。
知识点总结:
更多相关网站
- 10个SQL优化技巧,性能提升300%(sql优化从哪几方面入手)
- 面试官问你 MySQL 的线上执行 DDL 该怎么做?...
- MySQL 8.0 的隐藏索引:索引管理的利器,还是性能陷阱?
- MySQL实战:Json字段类型详解(mysql中json类型)
- Spring事务失效的12种解决方案!15年踩坑经验浓缩成这份避雷指南
- 面试官:select语句和update语句分别是怎么执行的?
- 详细了解 InnoDB 内存结构及其原理
- 深度剖析 Spring Boot3 中事务失效的场景与解决方案
- java 使用Jdbc连接mysql数据库以及其存在的问题
- 百万订单背后的架构生死局:SpringCloud Alibaba拯救我们的微服务
- 面试官:20 亿手机号存储选 int 还是 string?varchar 还是 char?
- 面试官:MySQL的自增ID用完了,怎么办?
- 别再用雪花算法生成ID了!试试这个吧
- # mysql 中文乱码问题分析(#mysql5.0中文乱码)
- Spring Boot3 中实现树表结构数据查询及返回全解析
- SQL外连接优化:经过验证的性能提升
- zPaaS低代码平台使用介绍:第一个功能开发
- 面试官:你对索引了解多少,展开说说
- 最近发表
- 标签列表
-
- mydisktest_v298 (35)
- sql 日期比较 (33)
- document.appendchild (35)
- 头像打包下载 (35)
- 二调符号库 (23)
- acmecadconverter_8.52绿色版 (25)
- 梦幻诛仙表情包 (36)
- java面试宝典2019pdf (26)
- disk++ (30)
- 加密与解密第四版pdf (29)
- iteye (26)
- centos7.4下载 (32)
- intouch2014r2sp1永久授权 (33)
- usb2.0-serial驱动下载 (24)
- jdk1.8.0_191下载 (27)
- axure9注册码 (30)
- virtualdrivemaster (26)
- 数据结构c语言版严蔚敏pdf (25)
- 兔兔工程量计算软件下载 (27)
- 代码整洁之道 pdf (26)
- ccproxy破解版 (31)
- aida64模板 (28)
- engine=innodb (33)
- shiro jwt (28)
- 方格子excel破解版补丁 (25)