SpringBoot 整合 MyCat 实现读写分离
程序员闪充宝
共 22982字，需浏览 46分钟
· 2022-04-11
MyCat一个彻底开源的，面向企业应用开发的大数据库集群。基于阿里开源的Cobar产品而研发。能满足数据库数据大量存储；提高了查询性能。文章介绍如何实现MyCat连接MySQL实现主从分离，并集成SpringBoot实现读写分离。
MySQL配置主从关系
说明
192.168.0.105 Linux 数据库作为主master数据库
127.0.0.1 Window 作为从slave数据库
master主数据库配置
binlog是Mysql sever层维护的一种二进制日志，主要是用来记录对Mysql数据更新或潜在发生更新的SQL语句，记录了所有的写语句，并以事务的形式保存在磁盘中，还包含语句所执行的消耗的时间，MySQL的二进制日志是事务安全型的。
master上开启log_bin
$ vim /etc/my.cnf
log-bin = mysql-bin #[必须]启用二进制日志
server-id = 4 #[必须]服务器唯一ID，默认是1，最好取ip的后3位
expire-logs-days = 7 #只保留7天的二进制日志，以防磁盘被日志占满
binlog-ignore-db = mysql #不备份的数据库
binlog-ignore-db = information_schema
binlog-ignore-db = performation_schema
binlog-ignore-db = sys
binlog-do-db=itools_simple #需要做复制的数据库名，如果有多个，复制binlog-do-db即可
登录mysql，测试log_bin是否成功开启
$ mysql -u root -p
Root@123
// log_bin ON表示开启成功，OFF表示开启失败
mysql> show variables like '%log_bin%';
+---------------------------------+--------------------------------+
| Variable_name | Value |
+---------------------------------+--------------------------------+
| log_bin | ON |
| log_bin_basename | /var/lib/mysql/mysql-bin |
| log_bin_index | /var/lib/mysql/mysql-bin.index |
| log_bin_trust_function_creators | OFF |
| log_bin_use_v1_row_events | OFF |
| sql_log_bin | ON |
+---------------------------------+--------------------------------+
6 rows in set (0.01 sec)
新增备份账户
mysql> grant replication slave on *.* to 'backup'@'%' identified by 'Root@123';
mysql> use mysql
mysql> select user,authentication_string,host from user;
重启mysql
$ systemctl restart mysqld
登录mysql，并设置只读
$ mysql -u root -p
Root@123
mysql> flush tables with read lock;
mysql> show master status \G
*************************** 1. row ***************************
File: mysql-bin.000003
Position: 154
Binlog_Do_DB: itools_simple
Binlog_Ignore_DB: mysql,information_schema,performation_schema,sys
Executed_Gtid_Set:
1 row in set (0.01 sec)
// 导出数据库，进入到一个合适的文件夹
$ mysqldump -u root -p itools_simple > itools_simple.txt
// 把生成的文件导出到本机
$ sz itools_simple.txt
// 在window本机打开cmd，登录slave本机mysql数据库，导入数据库
$ .\mysql -u root -p -hlocalhost mycat_master < .\itools_simple.txt
slave从数据库配置
配置 my.ini 文件
[mysql]
#default-character-set=utf8
[mysqld]
max_connections=200
character-set-server=utf8
default-storage-engine=INNODB
# 添加一下配置
log-bin=mysql-bin
server-id=223
重启slave数据库
net stop mysql
net start mysql
登录slave数据库
$ mysql -u root -p
123456
// 停止 slave
mysql> stop slave;
// 根据master中的status，添加以下配置
msyql> change master to master_host='192.168.0.105',master_user='backup',master_password='Root@123',master_log_file='mysql-bin.000003',master_log_pos=154;
// 启用slave
mysql> start slave;
// 查看slave状态
mysql> show slave status \G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 192.168.0.105
Master_User: backup
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000003
Read_Master_Log_Pos: 154
Relay_Log_File: DESKTOP-OB9O5N7-relay-bin.000002
Relay_Log_Pos: 320
Relay_Master_Log_File: mysql-bin.000003
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
..............
1 row in set (0.00 sec)
// 出现下面两个说明配置正确
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
关闭master数据库的只读设置
mysql> unlock tables;
存储引擎
InnoDB特性
MySQL5.5版本后，MySQL的默认内置存储引擎已经从MyISAM变成InnoDB
支持事务;
行级锁定(更新数据时一般指锁定当前行)：通过索引实现、全表扫描忍让时表锁、注意间隙所的影响;
读写阻塞与事务的隔离级别相关；
具有非常高的缓存特性(既能缓存索引、也能缓存数据)；
这个表和主键以组(Cluster)的方式存储、组成一颗平衡树；
所有的辅助索引(secondary indexes)都会保存主键信息；
支持分区、表空间类似与oracle 数据库；
支持外键约束、不支持全文检索(5.5.5之前的MyISAM支持全文检索、5.5.5之后就不在支持);
相对MyISAM而言、对硬件的要求比较高
MyISAM特性
不支持事务
表级锁定，数据更新时锁定整个表：其锁定机制是表级锁定，这虽然可以让锁定的实现成本很小但是也同时大大降低了其并发性能。
读写互相阻塞：不仅会在写入的时候阻塞读取，myisam还会在读取的时候阻塞写入，但读本身并不会阻塞另外的读。
只会缓存索引：MyISAM可以通过key_buffer_size缓存索引，以大大提高访问性能，减少产品IO，但是这个缓存区只会缓存索引，而不会缓存数据。
读取速度较快，占用资源相对少。
不支持外键约束，但支持全文索引。
修改slave数据库存储引擎
mysql> show variables like '%storage_engine%';
+----------------------------------+--------+
| Variable_name | Value |
+----------------------------------+--------+
| default_storage_engine | InnoDB |
| default_tmp_storage_engine | InnoDB |
| disabled_storage_engines | |
| internal_tmp_disk_storage_engine | InnoDB |
+----------------------------------+--------+
4 rows in set (0.00 sec)
// 修改配置文件
$ vim /etc/my.ini
[mysqld]
default-storage-engine=MyISAM
$ systemctl restart mysqld
mysql> show variables like '%storage_engine%';
+----------------------------------+--------+
| Variable_name | Value |
+----------------------------------+--------+
| default_storage_engine | MyISAM |
| default_tmp_storage_engine | InnoDB |
| disabled_storage_engines | |
| internal_tmp_disk_storage_engine | InnoDB |
+----------------------------------+--------+
4 rows in set (0.00 sec)
修改表存储引擎
如果是slave数据库的表是MyISAM，master数据库的表是InnoDB。直接覆盖master数据库来同步数据的话，slave数据库表的存储引擎也将会同步变成InnoDB。扩展：InnoDB一棵B+树可以存放多少行数据？
更换存储引擎遇到的问题
This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA in its declaration and binary logging is enabled (you might want to use the less safe log_bin_trust_function_creators variable)
出现的原因
在function里面，只有 DETERMINISTIC, NO SQL 和 READS SQL DATA 被支持。
如果我们开启了 bin-log, 我们就必须为我们的function指定一个参数。
解决方案
mysql> set global log_bin_trust_function_creators=TRUE;
Specified key was too long; max key length is 1000 bytes
出现的原因
DB的 engine 是 MyISAM
字符集是 utf8 ，1个 utf8=3bytes
(索引长度总和) * 3 > 1000。
解决方案
修改DB engine 至 innodb
更改字符集
减小字段长度
注意：一定不要手动去修改slave数据库中的数据，需要给slave的用户设置只读。
至此，mysql的数据库主从设置已经配置成功。在master中修改数据库，会同步到slave中。
Mycat基于MySQL的读写分离
Mycat不负责数据的同步，所以要还是要基于MySQL的主从配置来实现读写分离。
安装Mycat
由于github限制，所以以后新版本从以下地址下载 http://dl.mycat.io
Linux创建文件夹/usr/local/mycat，进入文件夹，下载安装包
$ wget http://dl.mycat.io/1.6.7.5/2020-3-3/Mycat-server-1.6.7.5-test-20200303154735-linux.tar.gz
$ tar -zxvf Mycat-server-1.6.7.5-test-20200303154735-linux.tar.gz
$ cd mycat
$ useradd mycat
$ chown -R mycat:mycat /usr/local/mycat/mycat
$ passwd mycat
// 配置hostname，添加以下配置
[root@localhost mycat] vim /etc/sysconfig/network
HOSTNAME=localhost（主机名）
// 查看是否配置主机
$ vim /etc/hosts
将Mycat配置到环境变量中
$ vim /etc/profile
// 在最后添加
MYCAT_HOME=/usr/local/mycat/mycat
PATH=$MYCAT_HOME/bin:$PATH
export PATH
// 使配置生效
$ source /etc/profile
在master数据库中添加user1（写）、user2（只读）两个账户，并配置权限。
配置mycat的schema.xml
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="itools_simple" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
</schema>
<dataNode name="dn1" dataHost="localhost" database="itools_simple" />
<dataHost name="localhost" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="hostM1" url="192.168.0.105:3306" user="user1" password="Root@123">
<!-- 可以配置多个从库 -->
<readHost host="hostS2" url="127.0.0.1:3306" user="user2" password="Root@123" />
</writeHost>
</dataHost>
</mycat:schema>
配置mycat的server.xml，增加两个用户
<user name="user1" defaultAccount="true">
<property name="password">Root@123</property>
<property name="schemas">itools_simple</property>
<property name="defaultSchema">itools_simple</property>
</user>
<user name="user2">
<property name="password">Root@123</property>
<property name="schemas">itools_simple</property>
<property name="readOnly">true</property>
<property name="defaultSchema">itools_simple</property>
</user>
启动Mycat
启动mycat
$ mycat start
Starting Mycat-server...
查看启动日志
$ cat wrapper.log
MyCAT Server startup successfully. see logs in logs/mycat.log
使用客户端连接mycat
使用SQLyog连接(使用此方式连接，不能直接通过点击表查看数据)
使用Navicat连接
可通过客户端直接查看master数据，也可通过修改mycat数据，查看master和slave的数据是否会同步
SpringBoot 整合 MyCat 实现读写分离
首先需要配置好数据库的主从关系。
配置好MyCat服务。
实现MyCat与MySQL读写分离。
添加依赖
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-aop</artifactId>
</dependency>
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>druid</artifactId>
<version>1.0.23</version>
</dependency>
创建数据源
package com.muycode.itoolsimple.datasource;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.boot.jdbc.DataSourceBuilder;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import javax.sql.DataSource;
@Configuration
public class DataSourceConfig {
/**
* 创建可读数据源
*
* @return
*/
@Bean(name = "selectDataSource")
@ConfigurationProperties(prefix = "spring.datasource.select")
public DataSource dataSource1() {
return DataSourceBuilder.create().build();
}
/**
* 创建可写数据源
*
* @return
*/
@Bean(name = "updateDataSource")
@ConfigurationProperties(prefix = "spring.datasource.update")
public DataSource dataSource2() {
return DataSourceBuilder.create().build();
}
}
设置数据源
package com.muycode.itoolsimple.datasource;
import org.springframework.context.annotation.Lazy;
import org.springframework.stereotype.Component;
@Component
@Lazy(false)
public class DataSourceContextHolder {
/**
* 采用ThreadLocal 保存本地多数据源
*/
private static final ThreadLocal<String> contextHolder = new ThreadLocal<>();
/**
* 设置数据源类型
*
* @param dbType
*/
public static void setDbType(String dbType) {
contextHolder.set(dbType);
}
/**
* 获取数据源类型
*/
public static String getDbType() {
return contextHolder.get();
}
public static void clearDbType() {
contextHolder.remove();
}
}
返回数据源
package com.muycode.itoolsimple.datasource;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.context.annotation.Primary;
import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;
import org.springframework.stereotype.Component;
import javax.sql.DataSource;
import java.util.HashMap;
import java.util.Map;
@Component
@Primary
public class DynamicDataSource extends AbstractRoutingDataSource {
@Autowired
@Qualifier("selectDataSource")
private DataSource selectDataSource;
@Autowired
@Qualifier("updateDataSource")
private DataSource updateDataSource;
/**
* 返回生效的数据源名称
*/
@Override
protected Object determineCurrentLookupKey() {
return DataSourceContextHolder.getDbType();
}
/**
* 配置数据源信息
*/
@Override
public void afterPropertiesSet() {
Map<Object, Object> map = new HashMap<>(16);
map.put("selectDataSource", selectDataSource);
map.put("updateDataSource", updateDataSource);
setTargetDataSources(map);
setDefaultTargetDataSource(updateDataSource);
super.afterPropertiesSet();
}
}
创建切面，动态设置数据源
package com.muycode.itoolsimple.datasource;
import org.aspectj.lang.JoinPoint;
import org.aspectj.lang.annotation.Aspect;
import org.aspectj.lang.annotation.Before;
import org.springframework.context.annotation.Lazy;
import org.springframework.core.annotation.Order;
import org.springframework.stereotype.Component;
@Aspect
@Component
@Lazy(false)
@Order(0) // Order设定AOP执行顺序 使之在数据库事务上先执行
public class DataSourceOptionAop {
/**
* 可读数据源
*/
private final static String DATASOURCE_TYPE_SELECT = "selectDataSource";
/**
* 可写数据源
*/
private final static String DATASOURCE_TYPE_UPDATE = "updateDataSource";
/**
* 创建切面，根据方法类型选择不同的数据源
*
* @param joinPoint
*/
@Before("execution(* com.muycode.itoolsimple.service.*.*(..))")
public void process(JoinPoint joinPoint) {
String methodName = joinPoint.getSignature().getName();
System.out.print("=========== " + methodName);
if (methodName.startsWith("get") || methodName.startsWith("count") || methodName.startsWith("find")
|| methodName.startsWith("list") || methodName.startsWith("select") || methodName.startsWith("check")
|| methodName.startsWith("query")) {
DataSourceContextHolder.setDbType(DATASOURCE_TYPE_SELECT);
System.out.println("-----------------使用selectDataSource数据源-------------------");
} else {
DataSourceContextHolder.setDbType(DATASOURCE_TYPE_UPDATE);
System.out.println("-----------------使用updateDataSource数据源-------------------");
}
}
}
输出结果
=========== getByUsername-----------------使用selectDataSource数据源-------------------
=========== getPermissionStringByUserId-----------------使用selectDataSource数据源-------------------
=========== getPermissionByUserId-----------------使用selectDataSource数据源-------------------
=========== getRolePermissionLinkByUserId-----------------使用selectDataSource数据源-------------------
=========== save-----------------使用updateDataSource数据源-------------------
=========== queryByPage-----------------使用selectDataSource数据源-------------------
=========== save-----------------使用updateDataSource数据源-------------------
=========== getPermissionAll-----------------使用selectDataSource数据源-------------------
=========== save-----------------使用updateDataSource数据源-------------------
=========== getSysCodeAll-----------------使用selectDataSource数据源-------------------
=========== save-----------------使用updateDataSource数据源-------------------
=========== getByRid-----------------使用selectDataSource数据源-------------------作者：颜不喜
cnblogs.com/muycode/p/12603037.html
精彩推荐：
14 个 Spring MVC 顶级技巧，随时用随时爽，一直用一直爽！
评论
15种时间序列预测方法总结(包含多种方法代码实现)
向AI转型的程序员都关注了这个号👇👇👇在这篇文章中，我们将深入探讨时间序列预测的基本概念和方法。我们将首先介绍单元预测和多元预测的概念，然后详细介绍各种深度学习和传统机器学习方法如何应用于时间序列预测，包括循环神经网络（RNN）、一维卷积神经网络（1D-CNN）、Transformer、自回归模型（
机器学习AI算法工程
0
SpringBoot 实现图片防盗链功能
程序员的成长之路互联网/程序员/技术/资料共享 关注阅读本文大概需要 4 分钟。来自：blog.csdn.net/weixin_46157208/article/details/138051737前言出于安全考虑，我们需要后端返回的图片只允许在某个网站内展示，不想被爬虫拿到图片地
程序员的成长之路
0
springboot第70集：字节跳动后端三面经，一文让你走出微服务迷雾架构周刊
创建一个使用Kubernetes (K8s) 和 Jenkins 来自动化 GitLab 前端项目打包的CI/CD流水线，需要配置多个组件。下面，我将概述一个基本的设置步骤和示例脚本，以帮助你理解如何使用这些工具整合一个自动化流程。前提条件确保你已经有：Kubernetes 集群：用于部署 Jenk
程序源代码
0
一站式解决方案：基于 Arthas 实现服务发现和权限控制
来源：juejin.cn/post/7281849496983994383👉 欢迎加入小哈的星球 ，你将获得: 专属的项目实战 / Java 学习路线 / 一对一提问 / 学习打卡 / 赠书福利全栈前后端分离博客项目 2.0 版本完结啦， 演示链接
小哈学Java
0
用 Shader 实现旗帜飘扬动画效果
我觉得对于刚入门 3D 编程的朋友来说，如果能够完成代码创建模型数据->创建材质->编写Shader动画这一系列，想必会有满满的成就感。今天就用 Cocos Creator 的 utils.MeshUtils.createMesh 接口，带大家感受一下这个流程。这个流程不仅可以用于新手学
COCOS
2
SpringBoot+Minio实现上传凭证、分片上传、秒传和断点续传
关注我们,设为星标,每天7:40不见不散,架构路上与您共享回复架构师获取资源大家好，我是你们的朋友架构君，一个会写代码吟诗的架构师。Spring Boot整合Minio后，前端的文件上传有两种方式：1、文件上传到后端，由后端保存到Minio这种方式好处是完全由后端集中管理，可以很好的做到、身份验证、
Java架构师社区
0
超越原生，散点图实现华夫饼图
之前我们介绍过了如何使用新卡片图实现华夫饼图。参考：超越原生，PowerBI 华夫饼图实现但是利用卡片图实现的华夫饼图有一些缺点，形状之间的大小跟间距不太好把握，而且有时形状大一点的话显示就会不正常，需要做出二次调整。今天给大家介绍一种原生视觉对象生成华夫饼图的更佳方案，既简单又美观。上图是利用散点
PowerBI战友联盟
2
Spring Boot + flowable 快速实现工作流
关注我们,设为星标,每天7:40不见不散,架构路上与您共享回复架构师获取资源大家好，我是你们的朋友架构君，一个会写代码吟诗的架构师。来源：blog.csdn.net/zhan107876/article/details/120815560总览一、flowable-ui部署运行二、绘制流程图绘图细节：
Java架构师社区
0