常见分布式限流方案-技术圈

点击上方蓝色字体，选择“标星公众号”

优质文章，第一时间送达

限流分类

合法性验证限流

比如验证码、IP 黑名单等，这些手段可以有效的防止恶意攻击和爬虫采集；

容器限流

比如 Tomcat、Nginx 等限流手段，其中 Tomcat 可以设置最大线程数（maxThreads），当并发超过最大线程数会排队等待执行；而 Nginx 提供了两种限流手段：一是控制速率，二是控制并发连接数；

服务端限流

比如我们在服务器端通过限流算法实现限流，此项也是我们本文介绍的重点。

常见的6种限流方案

1.Tomcat 使用 maxThreads 设置请求线程数来实现限流

实现方案：
进入tomcat的conf/server.xml文件配置中，然后找到如下代码：

<Connector port="8080" protocol="HTTP/1.1"
          connectionTimeout="20000"
          maxThreads="150"
          redirectPort="8443" />

maxThreads就是tomcat的最大线程数，当请求的并发大于此值，请求就会排队执行。
此值默认为 150（Tomcat 版本 8.5.42），每开启一个线程需要耗用 1MB 的 JVM 内存空间用于作为线程栈之用，Windows 每个进程中的线程数不允许超过 2000，Linux 每个进程中的线程数不允许超过 1000。

2.nginx通过 limit_req_zone 和 burst 来实现速率限流

实现方案：在nginx主文件配置中写入如下代码：

limit_req_zone $binary_remote_addr zone=mylimit:10m rate=2r/s;
server { 
    location / { 
        limit_req zone=mylimit;
    }
}

以上代码的意思是限制每个ip访问的速度为每秒2次请求，但是nginx对时间是更加严格的，细分到500ms为单位划分，其真实情况是1r/500ms。

上面的请求限制太过于苛刻，对于单位时间内无法执行的请求直接拒绝。真实情况应该用ip继续细分而不是只统计单位时间内请求次数。我们可以使用burst配置，代码如下:

limit_req_zone $binary_remote_addr zone=mylimit:10m rate=2r/s;
server { 
    location / { 
        limit_req zone=mylimit burst=4;
    }
}

burst=4 表示每个 IP 最多允许4个突发请求.这意味着500ms内一个ip发起6次请求，第一个请求立即执行，接下来4个请求进入队列等待执行，最后一个请求直接拒绝。

3.nginx通过 limit_conn_zone 和 limit_conn 两个指令控制并发连接的总数

实现方案：
在nginx主配置文件中写入如下代码：

limit_conn_zone $binary_remote_addr zone=perip:10m;
limit_conn_zone $server_name zone=perserver:10m;
server {
    ...
    limit_conn perip 10;
    limit_conn perserver 100;
}

上面的10M是指允许使用10MB内存保存变量值

$binary_remote_addr和$server_name。
其中 limit_conn perip 10 表示限制单个 IP 同时最多能持有 10 个连接；limit_conn perserver 100 表示 server 同时能处理并发连接的总数为 100 个。

只有当 request header 被后端处理后，这个连接才进行计数。

4.服务端使用时间窗口算法借助 Redis 的zset实现限流

实现方案：
所谓的滑动时间算法指的是以当前时间为截止时间，往前取一定的时间，比如往前取 60s 的时间，在这 60s 之内运行最大的访问数为 100，此时算法的执行逻辑为，先清除 60s 之前的所有请求记录，再计算当前集合内请求数量是否大于设定的最大请求数 100，如果大于则执行限流拒绝策略，否则插入本次请求记录并返回可以正常执行的标识给客户端。
滑动时间窗口如下图所示：

其中每一小个表示 10s，被红色虚线包围的时间段则为需要判断的时间间隔，比如 60s 秒允许 100 次请求，那么红色虚线部分则为 60s。
下面是算法实现，每3秒最多请求10次，代码如下：
借助 Jedis 包来操作 Redis，实现在 pom.xml 添加 Jedis 框架的引用，配置如下：

<!-- https://mvnrepository.com/artifact/redis.clients/jedis -->
<dependency>
    <groupId>redis.clients</groupId>
    <artifactId>jedis</artifactId>
    <version>3.3.0</version>
</dependency>

代码：

import redis.clients.jedis.Jedis;

public class RedisLimit {
    // Redis 操作客户端
    static Jedis jedis = new Jedis("127.0.0.1", 6379);

    public static void main(String[] args) throws InterruptedException {
        for (int i = 0; i < 15; i++) {
            boolean res = isPeriodLimiting("java", 3, 10);
            if (res) {
                System.out.println("正常执行请求：" + i);
            } else {
                System.out.println("被限流：" + i);
            }
        }
        // 休眠 4s
        Thread.sleep(4000);
        // 超过最大执行时间之后，再从发起请求
        boolean res = isPeriodLimiting("java", 3, 10);
        if (res) {
            System.out.println("休眠后，正常执行请求");
        } else {
            System.out.println("休眠后，被限流");
        }
    }

    /**
     * 限流方法（滑动时间算法）
     * @param key      限流标识
     * @param period   限流时间范围（单位：秒）
     * @param maxCount 最大运行访问次数
     * @return
     */
    private static boolean isPeriodLimiting(String key, int period, int maxCount) {
        long nowTs = System.currentTimeMillis(); // 当前时间戳
        // 删除非时间段内的请求数据（清除老访问数据，比如 period=60 时，标识清除 60s 以前的请求记录）
        jedis.zremrangeByScore(key, 0, nowTs - period * 1000);
        long currCount = jedis.zcard(key); // 当前请求次数
        if (currCount >= maxCount) {
            // 超过最大请求次数，执行限流
            return false;
        }
        // 未达到最大请求数，正常执行业务
        jedis.zadd(key, nowTs, "" + nowTs); // 请求记录 +1
        return true;
    }
}

此实现方式存在的缺点有两个：
1.使用 ZSet 存储有每次的访问记录，如果数据量比较大时会占用大量的空间，比如 60s 允许 100W 访问时；

2.此代码的执行非原子操作，先判断后增加，中间空隙可穿插其他业务逻辑的执行，最终导致结果不准确。

时间窗口算法的缺点：在一定范围内，比如 60s 内只能有 10 个请求，当第一秒时就到达了 10 个请求，那么剩下的 59s 只能把所有的请求都给拒绝掉。

5.服务端使用漏桶算法借助 Redis-Cell 来实现限流

实现方案：

漏洞算法的实现步骤是，先声明一个队列用来保存请求，这个队列相当于漏斗，当队列容量满了之后就放弃新来的请求，然后重新声明一个线程定期从任务队列中获取一个或多个任务进行执行，这样就实现了漏桶算法。

我们可以使用 Redis 4.0 版本中提供的 Redis-Cell 模块，该模块使用的是漏斗算法，并且提供了原子的限流指令，而且依靠 Redis 这个天生的分布式程序就可以实现比较完美的限流了。

我们可以使用 Redis 4.0 版本中提供的 Redis-Cell 模块，该模块使用的是漏斗算法，并且提供了原子的限流指令，而且依靠 Redis 这个天生的分布式程序就可以实现比较完美的限流了。
Redis-Cell 实现限流的方法也很简单，只需要使用一条指令 cl.throttle 即可，使用示例如下：

> cl.throttle mylimit 15 30 60
1）（integer）0 # 0 表示获取成功，1 表示拒绝
2）（integer）15 # 漏斗容量
3）（integer）14 # 漏斗剩余容量
4）（integer）-1 # 被拒绝之后，多长时间之后再试（单位：秒）-1 表示无需重试
5）（integer）2 # 多久之后漏斗完全空出来

其中 15 为漏斗的容量，30 / 60s 为漏斗的速率。

6.服务端使用令牌算法借助Google 的 guava 包来实现限流

实现方案：
在令牌桶算法中有一个程序以某种恒定的速度生成令牌，并存入令牌桶中，而每个请求需要先获取令牌才能执行，如果没有获取到令牌的请求可以选择等待或者放弃执行，如下图所示：

我们可以使用 Google 开源的 guava 包，很方便的实现令牌桶算法，首先在 pom.xml 添加 guava 引用，配置如下：

<!-- https://mvnrepository.com/artifact/com.google.guava/guava -->
<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>28.2-jre</version>
</dependency>

具体实现代码如下：

import com.google.common.util.concurrent.RateLimiter;

import java.time.Instant;

/**
 * Guava 实现限流
 */
public class RateLimiterExample {
    public static void main(String[] args) {
        // 每秒产生 10 个令牌（每 100 ms 产生一个）
        RateLimiter rt = RateLimiter.create(10);
        for (int i = 0; i < 11; i++) {
            new Thread(() -> {
                // 获取 1 个令牌
                rt.acquire();
                System.out.println("正常执行方法，ts:" + Instant.now());
            }).start();
        }
    }
}

从以上结果可以看出令牌确实是每 100ms 产生一个，而 acquire() 方法为阻塞等待获取令牌，它可以传递一个 int 类型的参数，用于指定获取令牌的个数。它的替代方法还有 tryAcquire()，此方法在没有可用令牌时就会返回 false 这样就不会阻塞等待了。当然 tryAcquire() 方法也可以设置超时时间，未超过最大等待时间会阻塞等待获取令牌，如果超过了最大等待时间，还没有可用的令牌就会返回 false。

注意事项：Redis 实现的限流方案可用于分布式系统，而 guava 实现的限流只能应用于单机环境。

本文链接：

https://blog.csdn.net/qq_36427244/article/details/117388495

76套java从入门到精通实战课程分享
50份优秀Java求职者简历
新款SpringBoot在线教育平台开源了
2020年全网最全BAT笔试面试题打包分享
雪花算法的原理以及Java实现

常见分布式限流方案

限流分类

合法性验证限流

容器限流

服务端限流

常见的6种限流方案

1.Tomcat 使用 maxThreads 设置请求线程数来实现限流

2.nginx通过 limit_req_zone 和 burst 来实现速率限流

3.nginx通过 limit_conn_zone 和 limit_conn 两个指令控制并发连接的总数

4.服务端使用时间窗口算法借助 Redis 的zset实现限流

5.服务端使用漏桶算法借助 Redis-Cell 来实现限流

6.服务端使用令牌算法借助Google 的 guava 包来实现限流

76套java从入门到精通实战课程分享

50份优秀Java求职者简历

新款SpringBoot在线教育平台开源了

2020年全网最全BAT笔试面试题打包分享

雪花算法的原理以及Java实现