yugongOracle数据迁移同步工具
yugong 是阿里巴巴推出的去Oracle数据迁移同步工具(全量+增量,目标支持MySQL/DRDS)
08年左右,阿里巴巴开始尝试MySQL的相关研究,并开发了基于MySQL分库分表技术的相关产品,Cobar/TDDL(目前为阿里云DRDS产品),解决了单机Oracle无法满足的扩展性问题,当时也掀起一股去IOE项目的浪潮,愚公这项目因此而诞生,其要解决的目标就是帮助用户完成从Oracle数据迁移到MySQL上,完成去IOE的第一步.
整个数据迁移过程,分为两部分:
-
全量迁移
-
增量迁移
过程描述:
-
增量数据收集 (创建oracle表的增量物化视图)
-
进行全量复制
-
进行增量复制 (可并行进行数据校验)
-
原库停写,切到新库
架构
说明:
-
一个Jvm Container对应多个instance,每个instance对应于一张表的迁移任务
-
instance分为三部分
a. extractor (从源数据库上提取数据,可分为全量/增量实现)
b. translator (将源库上的数据按照目标库的需求进行自定义转化)
c. applier (将数据更新到目标库,可分为全量/增量/对比的实现)
评论
pg_rewind数据同步工具
pg_rewind是一个同步PostgreSQL数据目录的工具,其结果等同于用rsync同步第一数据目录。pg_rewind的优点是,它用WAL来确定更改的数据块,不需要在集群里读取所有文件。当数据库
pg_rewind数据同步工具
0
lsyncd数据同步工具
Lsyncd监视本地目录树事件监视器界面(intify或fsevents)。它会汇总并合并事件几秒钟,然后生成一个(或多个)进程来同步更改。默认情况下,这是rsync。因此,Lsyncd是一种轻量级的
lsyncd数据同步工具
0
cwRsync数据同步工具
cwRsync是运用于windows平台的数据同步机制,等于是Windows平台的rsync解决方案。cwRsync打包了rsync和cygwin。
cwRsync数据同步工具
0
py-mysql-elasticsearch-syncMySQL-ElasticSearch 数据同步工具
一个将MySQL的数据同步到ElasticSearch的工具。首次初始导入基于mysqldump,增量同步基于MySQL的binlog机制,采用Python语言开发。
py-mysql-elasticsearch-syncMySQL-ElasticSearch 数据同步工具
0