Data Migration PlatformTiDB 的数据迁移工具
DM (Data Migration) 是一体化的数据同步任务管理平台,支持从 MySQL 或 MariaDB 到 TiDB 的全量数据迁移和增量数据同步。使用 DM 工具有利于简化错误处理流程,降低运维成本。
DM 架构
DM 主要包括三个组件:DM-master,DM-worker 和 dmctl。
DM 数据同步功能的核心特性。
Table routing
Table routing 是指将上游 MySQL 或 MariaDB 实例的某些表同步到下游指定表的路由功能,可以用于分库分表的合并同步。
Black & white table lists
Black & white table lists 是指上游数据库实例表的黑白名单过滤规则。其过滤规则类似于 MySQL replication-rules-db
/replication-rules-table
,可以用来过滤或只同步某些数据库或某些表的所有操作。
Binlog event filter
Binlog event filter 是比库表同步黑白名单更加细粒度的过滤规则,可以指定只同步或者过滤掉某些 schema
/table
的指定类型的 binlog events,比如 INSERT
,TRUNCATE TABLE
。
Shard support
DM 支持对原分库分表进行合库合表操作,但需要满足一些使用限制。
评论
yugongOracle数据迁移同步工具
yugong是阿里巴巴推出的去Oracle数据迁移同步工具(全量+增量,目标支持MySQL/DRDS)08年左右,阿里巴巴开始尝试MySQL的相关研究,并开发了基于MySQL分库分表技术的相关产品,C
yugongOracle数据迁移同步工具
0
SqoopHadoop 和数据库数据迁移工具
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:MySQL,Oracle,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HD
SqoopHadoop 和数据库数据迁移工具
0