Kould-Kache轻量级持久化缓存代理

联合创作 · 2023-09-29 05:39

Kache缓存框架专注于优化高IO的Web应用中数据持久化层次的读写性能,并保证数据实时性,提高缓存数据库的空间利用率。

Kache强调业务与缓存解耦,通过方法为粒度进行动态代理实现旁路缓存,内部拥有特殊的参数编码器,屏蔽键值编码细节,以四个基本的CRUD注解和Status枚举或方法名匹配的形式对Kache表达方法的作用而面向抽象实现自动化处理。

Kache的缓存实现为Guava Cache+Redis+Lua,减少网络IO的消耗,且缓存分为索引缓存+元缓存,并在缓存存入时进行"Echo"操作,仅将尚未空缺的缓存存入而减少重复的序列化。在集中于热点的大数据量场景下,可以做到“接近无序列化程度”的缓存存入。

Kache适用广泛,组件实现都面向抽象,默认的实现都可以通过在Kache通过建造者模式时填入自定义的组件进行替换,可以做到MongoDB、IndexDB甚至是MySQL的缓存实现。并且提供额外的策略接口,允许用户对分布式、单机等环境进行对应的策略实现。

使用

该Kache为原生JDK进行组件管理以支持Kotlin或scala等jdk语言使用,若是使用Spring框架请移步至:https://gitee.com/Kould/kache-spring

1、Kache依赖引入

2、Kache代理

3、Dao层写入注解

示例:

1.pom文件引入:

<dependency>
  <groupId>io.gitee.kould</groupId>
  <artifactId>Kache</artifactId>
</dependency>
 

2.对Mapper进行Kache的代理

Kache kache = Kache.builder().build();

// 需要对Kache进行init与destroy以保证脚本的缓存载入与连接释放
kache.init();
kache.destroy();

// 对Mapper进行动态代理,获取到拥有缓存旁路功能的新Mapper
// 示例:
ArticleMapper proxy = kache.getProxy(articleMapper, Article.class);
 

3.其对应的Dao层的Dao方法添加注释:

  • 持久化方法注解:@DaoMethod
    • Type:方法类型:
      • value = Type.SELECT : 搜索方法
      • value = Type.INSERT : 插入方法
      • value = Type.UPDATE : 更新方法
      • value = Type.DELETE : 删除方法
    • Status:方法参数状态 默认为Status.BY_Field:
      • status = Status.BY_FIELD : 非ID查询方法
      • status = Status.BY_ID : ID查询方法
    • Class<?>[] involve:仅在Type.SELECT Status.BY_Field时生效:用于使该条件搜索方法的索引能够被其他缓存Class影响
@Repository
public interface TagMapper extends BaseMapper<Tag> {

    @Select("select t.* from klog_article_tag at "
            + "right join klog_tag t on t.id = at.tag_id "
            + "where t.deleted = 0 AND at.deleted = 0 "
            + "group by t.id order by count(at.tag_id) desc limit #{limit}")
    @DaoMethod(value = Type.SELECT,status = Status.BY_FIELD)
    // 通过条件查询获取数据
    List<Tag> listHotTagsByArticleUse(@Param("limit") int limit);

    @DaoMethod(Type.INSERT)
    // 批量新增方法(会导致数据变动)
    Integer insertBatch(Collection<T> entityList);
}
 

自定义配置或组件:

// 以接口类型作为键值替换默认配置或增加额外配置
// 用于无额外参数的配置或组件加载
load(Class<?> interfaceClass, Object bean);

// 示例:注入MyBatis-Plus的包装类对象Page的PageDetails对象
private final Kache kache = Kache.builder()
            .load(PageDetails.class, new PageDetails<>(Page.class, "records", List.class))
            .build();
 

原理 | Principle

Kache的原型的描述文章:

基于Redis的DTO应用Service层缓存AOP

基于上述文章的主要变化为:

代理对象的转移:

Service层缓存对于Dao层缓存来说产生一个问题:

  • 缓存更新问题:Service支持DTO概念时,针对有一种PO却产生有不同的形态的缓存,最容易导致的问题是缓存删除、更新、新增时带来的一致性问题,对于PO结果有Page类对象封装的缓存更甚,对于缓存的利用率较低

而Dao缓存则能够去弥补上面所述的问题,是高性能的缓存所必不可少的

但于此同时Dao又会导致一系列实际开发上的问题

  1. 标准Dao的开发并不偏向业务化、不符合原先缓存Key逻辑
  2. Dao层有着一系列持久层框架带来的默认实现,难以对其命名规范的同一化
  3. Service层对Dao层耦合大、Dao的修改对系统稳定性是致命性的

可见与原先的缓存设计有着很大的冲突

于是使用了两层的AOP:

  • ServiceAop获取Service方法信息摘要、通过ThreadLocal传递给DaoAop
  • DaoAop获取Service层方法进行编码为Key,使用Key获取缓存的结果

以此避免同一Service方法下调用同一Dao方法但不同参数而引起的缓存冲突问题

Aop转变为框架:

  • 主要通过注解的形式+切点的形式提供更好的兼容性
  • 注解提高代码的可读性,且可以应对多种不同包名的这种细节性问题
  • 一些框架的默认实现无法修改代码,则可以通过默认提供的切点来修改包名而兼容
  • 降低对原项目的耦合,使更多第三方项目也能使用上
  • 修复原本设计带来的一系列不足点的耦合问题
  • 通过注解降低其业务代码侵入性,并简化使用

二级缓存设计:

  • 即使是NoSQL所带来的提升也仍然会导致网络IO的占用,为了更多的性能提升以及无用IO损耗则加入了进程间缓存的概念。
  • 使用了二级缓存调度器,允许用户通过自定义二级缓存调度器去调度两个缓存的使用。

缓存散列化:

  • 通过解析结果的持久类数据集,将持久类数据拆分并分别储存,将原包装类除去数据集后与数据集装填入List类型存入,去除实体数据与缓存索引的直接耦合
    • 使实体数据原子化,加强数据一致性
    • 减少缓存值重复,提高缓存的空间利用率
    • 更直观观察到热点数据
    • 散列开的单一持久化类有利于id查找
  • Kache提供有KacheConfig.Status.BY_ID的状态属性用于标记直接id搜索,而实际的查找流程往往为:分页查询-》单一数据查询
    • 如百度中搜索某一关键词后,点击其中提供内容中的一条。
  • 散列化可以使在如上种情景下,不存在该关键词的缓存时,获取其分页数据时保存其单一实体缓存,使第二步的单一数据时必定命中缓存(点击其分页内容下),提高其缓存命中率且更加符合实际的应用场景

缓存结构:

 

 

浏览 11
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报