为了方便开发,我打算实现一个Redis 工具集
共 13637字,需浏览 28分钟
·
2024-05-21 00:00
阅读本文大概需要 3.5 分钟。
来自:juejin.cn/post/7254574621898686521
前言
目前实现功能
-
common : 整个项目公共模块,比如AOP工具等; -
delay: Redis实现的延迟队列; -
lock: Redis实现的分布式锁; -
mq: Redis实现消息队列; -
query: Redis实现分页模糊查询; -
web: Redis实现web相关的功能; -
duplicate :防止重复提交;
如何使用
<dependency>
<groupId>cn.org.wangchangjiu</groupId>
<artifactId>redis-util-spring-boot-starter</artifactId>
<version>1.0.0-SNAPSHOT</version>
</dependency>
redis:
util:
mq:
enable: true
delay:
enable: true
MQ和delay实现细节
MQ实现细节
META-INF/spring/org.springframework.boot.autoconfigure.AutoConfiguration.imports
文件,文件内容就直接写 自动配置类
RedisUtilAutoConfiguration
主自动装配类会 import 各个模块的自动装配类:
RedisStreamAutoConfiguration
为例:
BeanPostProcessor
接口,主要作用是,获取被注解 RedisMessageListener
修饰的方法,把信息封装在 RedisMessageConsumerContainer
对象里,方便后面反射调用。
@Bean(initMethod = "start", destroyMethod = "stop")
@DependsOn("redisMessageConsumerManager")
@ConditionalOnMissingBean
public StreamMessageListenerContainer<String, MapRecord<String, String, String>> streamMessageListenerContainer(@Autowired RedisMessageConsumerManager redisMessageConsumerManager,
@Autowired RedisConnectionFactory redisConnectionFactory,
@Autowired ErrorHandler errorHandler) {
MyRedisStreamProperties.Options options = myRedisStreamProperties.getOptions();
StreamMessageListenerContainer.StreamMessageListenerContainerOptions<String, MapRecord<String, String, String>> containerOptions =
StreamMessageListenerContainer.StreamMessageListenerContainerOptions
.builder()
// 一次最多获取多少条消息
.batchSize(options.getBatchSize())
// 运行 Stream 的 poll task
.executor(getStreamMessageListenerExecutor())
// Stream 中没有消息时,阻塞多长时间,需要比 `spring.redis.timeout` 的时间小
.pollTimeout(options.getPollTimeout())
// 获取消息的过程或获取到消息给具体的消息者处理的过程中,发生了异常的处理
.errorHandler(errorHandler)
.build();
StreamMessageListenerContainer<String, MapRecord<String, String, String>> streamMessageListenerContainer =
StreamMessageListenerContainer.create(redisConnectionFactory, containerOptions);
// 获取 被 RedisMessageListener 注解修饰的 bean
Map<String, RedisMessageConsumerContainer> consumerContainerGroups =
redisMessageConsumerManager.getConsumerContainerGroups();
// 循环遍历,创建 消费组
consumerContainerGroups.forEach((groupQueue, redisMessageConsumerContainer) -> {
String[] groupQueues = groupQueue.split("#");
// 创建消费组
createGroups(groupQueues);
RedisMessageListener redisMessageListener = redisMessageConsumerContainer.getRedisMessageListener();
if(!redisMessageListener.useGroup()){
// 独立消费 不使用组
streamMessageListenerContainer.receive(StreamOffset.fromStart(groupQueues[1]), new DefaultGroupStreamListener(redisMessageConsumerContainer));
} else {
// 消费组 消费
if(redisMessageListener.autoAck()){
// 自动ACK
streamMessageListenerContainer.receiveAutoAck(Consumer.from(groupQueues[0], "consumer:" + UUID.randomUUID()),
StreamOffset.create(groupQueues[1], ReadOffset.lastConsumed()), new DefaultGroupStreamListener(redisMessageConsumerContainer));
} else {
// 手动 ACK
streamMessageListenerContainer.receive(Consumer.from(groupQueues[0], "consumer:" + UUID.randomUUID()),
StreamOffset.create(groupQueues[1], ReadOffset.lastConsumed()), new DefaultGroupStreamListener(redisMessageConsumerContainer));
}
}
});
return streamMessageListenerContainer;
}
/**
* 创建消费组
* @param groupQueues
*/
private void createGroups(String[] groupQueues) {
// 判断是否存在队列Key
if (stringRedisTemplate.hasKey(groupQueues[1])) {
// 获取消费组 没有则创建
StreamInfo.XInfoGroups groups = stringRedisTemplate.opsForStream().groups(groupQueues[1]);
if (groups.isEmpty()) {
stringRedisTemplate.opsForStream().createGroup(groupQueues[1], groupQueues[0]);
} else {
AtomicBoolean exists= new AtomicBoolean(false);
groups.forEach(xInfoGroup -> {
if (xInfoGroup.groupName().equals(groupQueues[0])){
exists.set(true);
}
});
if(!exists.get()){
stringRedisTemplate.opsForStream().createGroup(groupQueues[1], groupQueues[0]);
}
}
} else {
stringRedisTemplate.opsForStream().createGroup(groupQueues[1], groupQueues[0]);
}
}
// todo 后面这个线程池也可以交由用户配置
private Executor getStreamMessageListenerExecutor() {
AtomicInteger index = new AtomicInteger(1);
int processors = Runtime.getRuntime().availableProcessors();
ThreadPoolExecutor executor = new ThreadPoolExecutor(processors, processors, 0, TimeUnit.SECONDS,
new LinkedBlockingDeque<>(), r -> {
Thread thread = new Thread(r);
thread.setName("async-stream-consumer-" + index.getAndIncrement());
thread.setDaemon(true);
return thread;
});
return executor;
}
https://juejin.cn/post/7144969196542099469
源码
推荐阅读:
《云服务器限时免费领取》 轻量级服务器-2核4G5M 1个月 云服务器-2核4G3M 1个月 ⬇戳阅读原文领取 朕已阅