redis 生产环境如何有效查找哪些无过期时间的 key
共 4945字，需浏览 10分钟
·
2022-01-14 12:46
在项目中，Redis 不应该被当作传统数据库来使用；储存大量没有过期时间的数据。如果储存大量无过期时间，而且无效的key的话；再加上 Redis 本身的过期策略没有被正确设置，就会大量占用内存。这样就会导致再多的内存资源也不够用。最近在项目中，就遇到这样的情况。
情况大致是这样，项目中采用 Redis 二级存储（自己造的一个概念）。大概的意思就是先使用 UUID 生成一个 uuid 作为 value；这个 uuid 作为一个版本 id；存到缓存 key 为 ACL_CACHE_VERSION_KEY 中，即
1SET ACL_CACHE_VERSION_KEY uuid
然后在不 uuid 作为另外一个key的一部分。即 ACL_USER_ + uuid，比如 uuid 的值为 26a26b84-578d-40bf-ab15-aeb188a56393，则key 为ACL_USER_26a26b84-578d-40bf-ab15-aeb188a56393，缓存到 key 的数据为
1HMSET ACL_USER_26a26b84-578d-40bf-ab15-aeb1 id1 12345 id2 45678
因为 ACL_USER_26a26b84-578d-40bf-ab15-aeb188a56393 的是否过期是通过程序中生成新版本的 uuid，存储新的用户权限数据后；在程序中删除。因为程序的不健壮，导致有大量过期的版本没有及时删除。经过长年的积累导致 Redis 存在大量这些无效版本的 key。
在测试环境中，可以使用 keys 命令，模糊查询到需要的 key，但这个操作只适合在测试环境中使用，不适合在生产环境中使用，原因是 Redis 是单线程运行的，当 Redis 中的数据量很大时，由于此操作会遍历所有数据，并将结果一次性全部返回，执行时间会比较长，从而导致后续操作等待，直接影响系统的正常运行。解决的办法是使用scan命令：
1scan cursor [MATCH pattern] [COUNT count]
cursor：表示游标，从 0 开始，此命令执行完后会返回一个新的 cursor值。如果cursor!="0"，则表示还有 key 未返回，需要再调用 scan，并使用此新的 cursor 值，来获取下一批 key；如果cursor=="0"，则表示遍历结束。
pattern：表示模糊匹配的样式
count：表示一批最多返回多少条记录，默认为10
集群环境下使用 jedis 的代码实现
1import java.util.HashSet;
2import java.util.Set;
3
4import redis.clients.jedis.HostAndPort;
6import redis.clients.jedis.JedisCluster;
7import redis.clients.jedis.JedisPoolConfig;
8import redis.clients.jedis.ScanParams;
9import redis.clients.jedis.ScanResult;
10
11public class RedisTester {
12
13 public static JedisCluster getJedisCluster() {
14 JedisPoolConfig config = new JedisPoolConfig();
15 config = new JedisPoolConfig();
16 config.setMaxTotal(60000);// 设置最大连接数
17 config.setMaxIdle(1000); // 设置最大空闲数
18 config.setMaxWaitMillis(3000);// 设置超时时间
19 config.setTestOnBorrow(true);
20
21 // 集群结点
22 Set jedisClusterNode = new HashSet();
23 jedisClusterNode.add(new HostAndPort("yun-1.cacheyum.com", 6379));
24 jedisClusterNode.add(new HostAndPort("yun-2.cacheyum.com", 6379));
25 jedisClusterNode.add(new HostAndPort("yun-3.cacheyum.com", 6379));
26 jedisClusterNode.add(new HostAndPort("yun-4.cacheyum.com", 6379));
27 jedisClusterNode.add(new HostAndPort("yun-5.cacheyum.com", 6379));
28 jedisClusterNode.add(new HostAndPort("yun-6.cacheyum.com", 6379));
29 JedisCluster jc = new JedisCluster(jedisClusterNode, 1000, 1000, 1000, "admin321", config);
30 return jc;
31 }
32
33 public static void scanCluster() {
34 JedisCluster redis = getJedisCluster();
35 redis.getClusterNodes().values().stream().forEach(pool -> {
36 boolean done = false;
37 String cur = "0";
38 try (Jedis jedisNode = pool.getResource()) {
39 while (!done) {
40 ScanParams scanParams = new ScanParams();
41 scanParams.match(" ACL_USER_*");
42 scanParams.count(10);
43 ScanResult resp = jedisNode.scan(cur, scanParams);
44 for (String result : resp.getResult()) {
45 System.out.println("key: " + result);
46 }
47 cur = resp.getStringCursor();
48 System.out.println("cursor: " + cur);
49 if (cur.equals("0")) {
50 done = true;
51 }
52 }
53 }
54 });
55 }
56
57 public static void main(String[] args) {
58 scanCluster();
59 }
60
61}
单机情况下 jedis 代码实现
1import java.util.HashSet;
2import java.util.Set;
3
4import redis.clients.jedis.HostAndPort;
5import redis.clients.jedis.Jedis;
6import redis.clients.jedis.JedisPoolConfig;
7import redis.clients.jedis.ScanParams;
8import redis.clients.jedis.ScanResult;
9
10public class RedisTester {
11
12
13 public static Jedis getAloneRedis() {
14 Jedis jedis = new Jedis("127.0.0.1", 6379);
15 System.out.println("connect successfully");
16 jedis.auth("admin321");
17 return jedis;
18 }
19
20 public void scanAlone() {
21 Jedis jedis = getAloneRedis();
22 String cursor = "0";
23 do {
24 ScanParams scanParams = new ScanParams();
25 scanParams.match("ACL_USER_*");
26 scanParams.count(10);
27 ScanResult sr = jedis.scan(cursor, scanParams);
28 List resultList = sr.getResult();
29 for (String result : resultList) {
30 System.out.println("key: " + result);
31 }
32 cursor = sr.getStringCursor();
33 System.out.println("cursor: " + cursor);
34 } while (!cursor.equals("0"));
35 }
36
37 public static void main(String[] args) {
38 getAloneRedis();
39 }
40
41}
使用以下代码就可以找到那些版本的 uuid 是无效的。找到后，再调用 del 指令删除；或者为了更加保险，调用 expire 加个过期时间。让 key 在某个时间内失效也可以。
推荐阅读：
欢迎关注微信公众号：互联网全栈架构，收取更多有价值的信息。