记一次 PageHelper 分页未生效问题排查
SegmentFault
共 30213字，需浏览 61分钟
· 2021-09-10
作者：raledong
来源：SegmentFault 思否社区
问题描述
最近在项目中使用PageHelper分页工具+Mybatis实现分页查询逻辑，但是发现分页逻辑并没有生效，代码片段如下：
public PageDTO<ChargeMetaDO> pageByParams(SearchChargeReq searchChargeRequest, int pageNo, int pageSize) {
PageHelper.startPage(pageNo, pageSize);
ChargePOExample example = buildExample(searchChargeRequest);
long total = chargeMapper.countByExample(example);
List<ChargeMetaDO> chargeMetaDoList = selectByExample(example);
return new PageDTO<>(total, chargeMetaDoList);
}
这段代码中传入了查询参数和分页信息，并返回总页数和当前页号的数据。但是实际执行的时候返回了全部的数据。
修复方式
排查的时候发现，count代码通过mybatis生成的sql语句中包含了分页参数，但是select语句却没有，因此将查询数据列表的请求放在计算总数据行数前面即可解决这个问题。
public PageDTO<ChargeMetaDO> pageByParams(SearchChargeReq searchChargeRequest, int pageNo, int pageSize) {
PageHelper.startPage(pageNo, pageSize);
ChargePOExample example = buildExample(searchChargeRequest);
// 需要先执行分页查询，再查询总数
List<ChargeMetaDO> chargeMetaDoList = selectByExample(example);
long total = chargeMapper.countByExample(example);
return new PageDTO<>(total, chargeMetaDoList);
}
原因分析
这里阅读了一下PageHepler，简单介绍一下PageHelper是如何将分页信息塞入当查询请求中的。
在调用PageHelper.startPage方法后最终会进入这段逻辑：
protected static final ThreadLocal<Page> LOCAL_PAGE = new ThreadLocal();
public static <E> Page<E> startPage(int pageNum, int pageSize, boolean count, Boolean reasonable, Boolean pageSizeZero) {
Page<E> page = new Page(pageNum, pageSize, count);
page.setReasonable(reasonable);
page.setPageSizeZero(pageSizeZero);
Page<E> oldPage = getLocalPage();
if (oldPage != null && oldPage.isOrderByOnly()) {
page.setOrderBy(oldPage.getOrderBy());
}
setLocalPage(page);
return page;
}
protected static void setLocalPage(Page page) {
LOCAL_PAGE.set(page);
}
这里要关注setLocalPage这个方法，这一行代码将分页的信息放入了当前线程上下文LOCAL_PAGE中，使得后续的同线程内查询可以从该变量中取到分页信息。
那么这个分页信息是在哪里被编入到SQL的呢？PageHelper工具实现了一个mybatis的拦截器PageInterceptor，在请求经过该拦截器时会读取LOCAL_PAGE中的分页信息并写入到SQL中。这里通过Dialect接口进行了抽象，Dialect接口定义了在经过该切面时的各种行为（如是否跳过，执行前操作，执行后操作等），并子类PageHelper实现分页逻辑。
public class PageInterceptor implements Interceptor {
public Object intercept(Invocation invocation) throws Throwable {
try {
Object[] args = invocation.getArgs();
MappedStatement ms = (MappedStatement)args[0];
Object parameter = args[1];
RowBounds rowBounds = (RowBounds)args[2];
ResultHandler resultHandler = (ResultHandler)args[3];
Executor executor = (Executor)invocation.getTarget();
CacheKey cacheKey;
BoundSql boundSql;
if (args.length == 4) {
boundSql = ms.getBoundSql(parameter);
cacheKey = executor.createCacheKey(ms, parameter, rowBounds, boundSql);
} else {
cacheKey = (CacheKey)args[4];
boundSql = (BoundSql)args[5];
}
this.checkDialectExists();
List resultList;
// 需要跳过该Dialect
if (!this.dialect.skip(ms, parameter, rowBounds)) {
// 是否要执行count操作
if (this.dialect.beforeCount(ms, parameter, rowBounds)) {
// 计算数据总量
Long count = this.count(executor, ms, parameter, rowBounds, resultHandler, boundSql);
// 判断是否需要执行count后的逻辑
if (!this.dialect.afterCount(count, parameter, rowBounds)) {
// 无需执行分页，直接返回
Object var12 = this.dialect.afterPage(new ArrayList(), parameter, rowBounds);
return var12;
}
}
// 分页查询数据
resultList = ExecutorUtil.pageQuery(this.dialect, executor, ms, parameter, rowBounds, resultHandler, boundSql, cacheKey);
} else {
// rowBounds用参数值，不使用分页插件处理
resultList = executor.query(ms, parameter, rowBounds, resultHandler, cacheKey, boundSql);
}
// 分页结束，返回结果
Object var16 = this.dialect.afterPage(resultList, parameter, rowBounds);
return var16;
} finally {
// 分页操作的收尾工作
if (this.dialect != null) {
this.dialect.afterAll();
}
}
}
private Long count(Executor executor, MappedStatement ms, Object parameter,
RowBounds rowBounds, ResultHandler resultHandler,
BoundSql boundSql) throws SQLException {
String countMsId = ms.getId() + countSuffix;
Long count;
//先判断是否存在手写的 count 查询
MappedStatement countMs = ExecutorUtil.getExistedMappedStatement(ms.getConfiguration(), countMsId);
if (countMs != null) {
count = ExecutorUtil.executeManualCount(executor, countMs, parameter, boundSql, resultHandler);
} else {
// 优先获取缓存的SQL语句，减少重新生成的成本
countMs = msCountMap.get(countMsId);
//自动创建
if (countMs == null) {
//拼接count语句
countMs = MSUtils.newCountMappedStatement(ms, countMsId);
msCountMap.put(countMsId, countMs);
}
// 执行count语句
count = ExecutorUtil.executeAutoCount(dialect, executor, countMs, parameter, boundSql, rowBounds, resultHandler);
}
return count;
}
}
上文中对关键行增加了注释，可以看到intercept方法其实就是对Dialect的几个方法进行编排：
public interface Dialect {
/**
* 跳过 count 和 分页查询
*
* @param ms MappedStatement
* @param parameterObject 方法参数
* @param rowBounds 分页参数
* @return true 跳过，返回默认查询结果，false 执行分页查询
*/
boolean skip(MappedStatement ms, Object parameterObject, RowBounds rowBounds);
/**
* 执行分页前，返回 true 会进行 count 查询，false 会继续下面的 beforePage 判断
*
* @param ms MappedStatement
* @param parameterObject 方法参数
* @param rowBounds 分页参数
* @return
*/
boolean beforeCount(MappedStatement ms, Object parameterObject, RowBounds rowBounds);
/**
* 执行完 count 查询后
*
* @param count 查询结果总数
* @param parameterObject 接口参数
* @param rowBounds 分页参数
* @return true 继续分页查询，false 直接返回
*/
boolean afterCount(long count, Object parameterObject, RowBounds rowBounds);
/**
* 执行分页前，返回 true 会进行分页查询，false 会返回默认查询结果
*
* @param ms MappedStatement
* @param parameterObject 方法参数
* @param rowBounds 分页参数
* @return
*/
boolean beforePage(MappedStatement ms, Object parameterObject, RowBounds rowBounds);
/**
* 生成分页查询 sql
*
* @param ms MappedStatement
* @param boundSql 绑定 SQL 对象
* @param parameterObject 方法参数
* @param rowBounds 分页参数
* @param pageKey 分页缓存 key
* @return
*/
String getPageSql(MappedStatement ms, BoundSql boundSql, Object parameterObject, RowBounds rowBounds, CacheKey pageKey);
/**
* 分页查询后，处理分页结果，拦截器中直接 return 该方法的返回值
*
* @param pageList 分页查询结果
* @param parameterObject 方法参数
* @param rowBounds 分页参数
* @return
*/
Object afterPage(List pageList, Object parameterObject, RowBounds rowBounds);
/**
* 完成所有任务后
*/
void afterAll();
/**
* 设置参数
*
* @param properties 插件属性
*/
void setProperties(Properties properties);
}
PageHelper中主要是对PageAutoDialect加了一层代理实现，二者的代码如下：
public class PageHelper extends PageMethod implements Dialect {
private PageParams pageParams;
private PageAutoDialect autoDialect;
@Override
public boolean skip(MappedStatement ms, Object parameterObject, RowBounds rowBounds) {
if (ms.getId().endsWith(MSUtils.COUNT)) {
throw new RuntimeException("在系统中发现了多个分页插件，请检查系统配置!");
}
// 获取上下文中的分页信息
Page page = pageParams.getPage(parameterObject, rowBounds);
if (page == null) {
// 上下文中无分页信息，跳过分页拦截器
return true;
} else {
//设置默认的 count 列
if (StringUtil.isEmpty(page.getCountColumn())) {
page.setCountColumn(pageParams.getCountColumn());
}
autoDialect.initDelegateDialect(ms);
return false;
}
}
/**
* 代理模式
*/
@Override
public boolean beforeCount(MappedStatement ms, Object parameterObject, RowBounds rowBounds) {
return autoDialect.getDelegate().beforeCount(ms, parameterObject, rowBounds);
}
/**
* 代理模式
*/
@Override
public boolean afterCount(long count, Object parameterObject, RowBounds rowBounds) {
return autoDialect.getDelegate().afterCount(count, parameterObject, rowBounds);
}
@Override
public boolean beforePage(MappedStatement ms, Object parameterObject, RowBounds rowBounds) {
return autoDialect.getDelegate().beforePage(ms, parameterObject, rowBounds);
}
@Override
public String getPageSql(MappedStatement ms, BoundSql boundSql, Object parameterObject, RowBounds rowBounds, CacheKey pageKey) {
return autoDialect.getDelegate().getPageSql(ms, boundSql, parameterObject, rowBounds, pageKey);
}
public String getPageSql(String sql, Page page, RowBounds rowBounds, CacheKey pageKey) {
return autoDialect.getDelegate().getPageSql(sql, page, pageKey);
}
@Override
public Object afterPage(List pageList, Object parameterObject, RowBounds rowBounds) {
//这个方法即使不分页也会被执行，所以要判断 null
AbstractHelperDialect delegate = autoDialect.getDelegate();
if (delegate != null) {
return delegate.afterPage(pageList, parameterObject, rowBounds);
}
return pageList;
}
@Override
public void afterAll() {
AbstractHelperDialect delegate = autoDialect.getDelegate();
if (delegate != null) {
delegate.afterAll();
autoDialect.clearDelegate();
}
// 清理线程上下文中的分页信息，防止影响后续的调用
clearPage();
}
}
public abstract class AbstractHelperDialect extends AbstractDialect implements Constant {
/**
* 获取分页参数
*
* @param <T>
* @return
*/
public <T> Page<T> getLocalPage() {
return PageHelper.getLocalPage();
}
@Override
public final boolean skip(MappedStatement ms, Object parameterObject, RowBounds rowBounds) {
//该方法不会被调用
return true;
}
@Override
public boolean beforeCount(MappedStatement ms, Object parameterObject, RowBounds rowBounds) {
// page配置中要求count
Page page = getLocalPage();
return !page.isOrderByOnly() && page.isCount();
}
@Override
public boolean afterCount(long count, Object parameterObject, RowBounds rowBounds) {
Page page = getLocalPage();
page.setTotal(count);
if (rowBounds instanceof PageRowBounds) {
((PageRowBounds) rowBounds).setTotal(count);
}
//pageSize < 0 的时候，不执行分页查询
//pageSize = 0 的时候，还需要执行后续查询，但是不会分页
if (page.getPageSize() < 0) {
return false;
}
return count > ((page.getPageNum() - 1) * page.getPageSize());
}
@Override
public boolean beforePage(MappedStatement ms, Object parameterObject, RowBounds rowBounds) {
Page page = getLocalPage();
// 页数大于0，需要进行分页查询
if (page.isOrderByOnly() || page.getPageSize() > 0) {
return true;
}
return false;
}
// 该方法会在当前SQL后面添加上分页信息，需要查看MySqlDialect子类的实现
@Override
public String getPageSql(MappedStatement ms, BoundSql boundSql, Object parameterObject, RowBounds rowBounds, CacheKey pageKey) {
String sql = boundSql.getSql();
Page page = getLocalPage();
//支持 order by
String orderBy = page.getOrderBy();
if (StringUtil.isNotEmpty(orderBy)) {
pageKey.update(orderBy);
sql = OrderByParser.converToOrderBySql(sql, orderBy);
}
if (page.isOrderByOnly()) {
return sql;
}
return getPageSql(sql, page, pageKey);
}
@Override
public Object afterPage(List pageList, Object parameterObject, RowBounds rowBounds) {
Page page = getLocalPage();
if (page == null) {
return pageList;
}
page.addAll(pageList);
if (!page.isCount()) {
page.setTotal(-1);
} else if ((page.getPageSizeZero() != null && page.getPageSizeZero()) && page.getPageSize() == 0) {
page.setTotal(pageList.size());
} else if(page.isOrderByOnly()){
page.setTotal(pageList.size());
}
return page;
}
@Override
public void afterAll() {
}
@Override
public String getPageSql(String sql, Page page, CacheKey pageKey) {
StringBuilder sqlBuilder = new StringBuilder(sql.length() + 14);
sqlBuilder.append(sql);
if (page.getStartRow() == 0) {
sqlBuilder.append(" LIMIT ? ");
} else {
sqlBuilder.append(" LIMIT ?, ? ");
}
return sqlBuilder.toString();
}
}
总结
PageHelper本质上是通过线程上下文变量来实现，并且仅生效于设置分页参数后的第一条SQL。因此需要先执行分页查询，再执行count。
评论
字节面试：如何解决MQ消息积压问题？
面试题大全：www.javacn.siteMQ（Message Queue）消息积压问题指的是在消息队列中累积了大量未处理的消息，导致消息队列中的消息积压严重，超出系统处理能力，影响系统性能和稳定性的现象。1.消息积压是哪个环节的问题？MQ 执行有三大阶段：消息生产阶段。消息存储阶段。消息消费阶段。
Java中文社群
0
排名问题新解法：探索可视化计算中的 RANK 函数
上次我们介绍了可视化计算替代 DAX 计算的一些场景。参考：PowerBI 进阶：可视化计算替代 DAX 场景探索今天我们介绍一个新的场景，这是一个困扰许多人的问题，排名问题。在 DAX 中，很多新手小白对于上下文概念还不太理解，但在处理排名问题时又要求你必须理解一些上下文，比如常见的绝对排名和相对
PowerBI战友联盟
8
想都是问题，干就有答案，今天收获2个成绩
觉醒的拉新活动终于结束我以加入涛哥战队的方式去做的这次拉新活动最终排名是第4，没进前三虽然有遗憾，但还是从这个活动中学到了很多东西。为什么我要参与这个活动呢？参加这个拉新活动目的绝不是为了赚这个佣金，虽然我也能分到几千块，如果纯粹地为了赚这个佣金，其实是一个投入产出比极低的事情。最主要的还是奔着学习
python之禅
0
华为Pura 70系列售价公布，先锋开售机型约一分钟售罄；马斯克称特斯拉每5年进行一次彻底改革；SK-II回应撤柜传闻
华为Pura 70系列售价公布，先锋开售机型约一分钟售罄4月18日，@华为终端 宣布推出“HUAWEI Pura 70系列 先锋计划”，Pura 70 Ultra和Pura 70 Pro于10:08先锋开售，约一分钟即告售罄。根据官方公告，Pura 70系列共包括四款机型，起售价5499元。特斯拉万
亿欧网
0
为什么回归问题用 MSE？
作者：Matrix.小泽直树来源：https://zhuanlan.zhihu.com/p/463812174最近在看李沐的实用机器学习课程，讲到regression问题的loss的时候有弹幕问：“为什么要平方？”如果是几年前学生问我这个问题，我会回答：“因为做回归的时候的我们的残差
机器学习算法与Python实战
820
分库分表后，数据库数据一致性问题如何解决？
来源：juejin.cn/post/6933003178661462023前言数据迁移分布式事务总结前言通过对数据的垂直拆分或水平拆分后，我们解决了数据库容量、性能等问题，但是将会面临数据迁移和数据一致性的问题。在数据迁移方面，需要考虑如何快速迁移、平滑迁移、不停机的迁移等。待数据迁移完毕后，还需要
java金融
0
面试官：MQ 消息丢失、重复、积压问题，如何解决？
点击关注上方“Stephen”，设为“置顶或星标”，第一时间送达干货面试官在面试候选人时，如果发现候选人的简历中写了在项目中使用了MQ 技术（如 Kafka、RabbitMQ、RocketMQ），基本都会抛出一个问题：在使用 MQ 的时候，怎么确保消息 100% 不丢失？这个问题在实际工作中很常见，
Stephen
0
10多万人关注的几个Python问题
本文挑选了StackOverflow上被点赞最多的10个问题，其中总点赞数超过了5万，考虑到很多人只看不点赞，预估至少有10万人对这些问题感兴趣！这么多人点赞，说明两个问题：这些问题很常用，编程的时候经常碰到这些问题不简单，否则不用去网上问10个问题，看看你会几个？yield 关键词是做什么的？if
Crossin的编程教室
10