RestTemplate 连接池：记一次压测调优

会点代码的大叔

共 3399字，需浏览 7分钟

· 2020-08-22

[ 用大白话讲解复杂的技术 ]

这是我的第 53 篇原创文章

作者 l 会点代码的大叔（CodeDaShu）

最近工作上有些调整，进入了另一个项目组，本周在给一个接口做压力测试的过程中，发现 TPS 波动比较大：单台服务器的 TPS 在 1000 到 200 之间波动，发现问题后我们做了这几件事儿逐一排问题。

1. 排除其他操作对压测的影响

观察数据的时间戳，发现在压测过程中有频发的数据写入，先暂停跑批操作，再次压测波动依然存在；

2. 代码检查，降低数据库查询次数

做代码检查，这个功能需要查询六次数据库、调用一次接口才能获得所有数据，经过优化后将查询数据库的次数降低为三次，再次压测后 TPS 有所提升，但是波动的情况还存在；

3. 分阶段压测，缩小问题范围

因为该接口的逻辑是本地逻辑 + 远程调用，于是先做了挡板单压本地逻辑，再单独压远程接口，两次压测不存在波动的问题，所以基本上可以确定是调用接口的过程中存在一些问题；

4. 排除 GC 问题

调用接口的过程中创建了太多的 Java 对象，可能会引发频发的 GC 操作；但是通过对 JVM 的观察排除了这个问题；

5. 初步确认问题

最后将问题的范围缩小，怀疑是 RestTemplate 的使用问题；

RestTemplate 是 Spring 提供的用于访问 Http 接口的客户端框架，能够大大提高客户端的编写效率，大部分基于 SSM 或 Spring Boot 的项目会使用 RestTemplate，翻了一下项目中 RestTemplate Config，只配置了超时时间：

@Configurationpublic class RestTemplateConfig {    @Bean    public RestTemplate restTemplate(){        SimpleClientHttpRequestFactory factory =new SimpleClientHttpRequestFactory();        factory.setConnectTimeout(30000);        factory.setReadTimeout(10000);        RestTemplate restTemplate = new RestTemplate(factory);        return restTemplate;    }}

RestTemplate 默认的

ClientHttpRequestFactor 为

SimpleClientHttpRequestFactory，其中的 createRequest 方法，每次都会创建一个新的连接，建立连接本身就是一个费时费力的操作，如果频繁地对一个接口发起调用，每次都创建连接会造成极大的资源浪费，而且若连接不能及时释放，就会因为无法建立新的连接导致后面的请求阻塞。

@Overridepublic ClientHttpRequest createRequest(URI uri, HttpMethod httpMethod) throws IOException {  HttpURLConnection connection = openConnection(uri.toURL(), this.proxy);  prepareConnection(connection, httpMethod.name());
  if (this.bufferRequestBody) {    return new SimpleBufferingClientHttpRequest(connection, this.outputStreaming);  }  else {    return new SimpleStreamingClientHttpRequest(connection, this.chunkSize, this.outputStreaming);  }}

看到这种情况处理起来也算简单：弄个连接池；

创建 RestTemplate连接线程池，就需要使用其他的 HTTP 库（默认使用的是 JDK 自己的），比如 HttpComponents、Netty、OkHttp，在这里我选择的是 HttpComponents 。

1. 引入依赖：

<dependency>    <groupId>org.apache.httpcomponentsgroupId>    <artifactId>httpcoreartifactId>    <version>version>dependency>
<dependency>    <groupId>org.apache.httpcomponentsgroupId>    <artifactId>httpclientartifactId>    <version>version>dependency>

2. 修改 RestTemplateConfig ：

@Configurationpublic class RestTemplateConfig {    @Bean    public RestTemplate restTemplate() {        return new RestTemplate(httpRequestFactory());    }
    @Bean    public ClientHttpRequestFactory httpRequestFactory() {        return new HttpComponentsClientHttpRequestFactory(httpClient());    }
    @Bean    public HttpClient httpClient() {        Registry registry = RegistryBuilder.create()                .register("http", PlainConnectionSocketFactory.getSocketFactory())                .register("https", SSLConnectionSocketFactory.getSocketFactory())                .build();        PoolingHttpClientConnectionManager connectionManager = new PoolingHttpClientConnectionManager(registry);        //设置整个连接池最大连接数        connectionManager.setMaxTotal(400);                //路由是对maxTotal的细分        connectionManager.setDefaultMaxPerRoute(100);        RequestConfig requestConfig = RequestConfig.custom()                .setSocketTimeout(30000)  //返回数据的超时时间                .setConnectTimeout(10000) //连接上服务器的超时时间                .setConnectionRequestTimeout(1000) //从连接池中获取连接的超时时间                .build();        return HttpClientBuilder.create()                .setDefaultRequestConfig(requestConfig)                .setConnectionManager(connectionManager)                .build();    }}