cdsClickHouse 数据同步

联合创作 · 2023-10-01 00:11

ClickHouse Data Synchromesh (cds) 是一个围绕 ClickHouse 的自动化数据同步组件，基于 go-zero。

ARCH

典型数据仓库架构的数据工作流

Design of Data Sync

自动将数据从 MySQL/MongoDB 数据源实时同步到 ClickHouse 集群（< 2min）。

start up



git clone https://github.com/zeromicro/cds.git

cd cds

make up

构建完成后，注意检查是否有容器异常退出。

点击 http://localhost:3414/cds.html 访问网页界面。

使用下面的用户名和密码登录：



user: admin@email.com

password: 123456

浏览 34

点赞

收藏

分享

举报

评论

图片

表情

rsync数据同步

rsync是类unix系统下的数据镜像备份工具，从软件的命名上就可以看出来了——remotesync。它的特性如下：1、可以镜像保存整个目录树和文件系统。2、可以很容易做到保持原来文件的权限、时间、软

redis-portRedis 数据同步

redis-port是一个Redis工具，通过解析rdb文件，实现Redis主节点和从节点的数据同步。示例：$catdump.rdb|./redis-portdecode2>/dev/null

redis-portRedis 数据同步

redis-port 是一个 Redis 工具，通过解析 rdb 文件，实现 Redis 主节点和从

rsync数据同步

rsync是类unix系统下的数据镜像备份工具，从软件的命名上就可以看出来了——remote syn

py-mysql-elasticsearch-syncMySQL-ElasticSearch 数据同步工具

一个将MySQL的数据同步到ElasticSearch的工具。首次初始导入基于mysqldump，增量同步基于MySQL的binlog机制，采用Python语言开发。

RedisShakeRedis 数据同步工具

RedisShake 是一个用于在两个 Redis 之间同步数据的工具，满足非常灵活的同步与迁移需求

RedisShakeRedis 数据同步工具

RedisShake是一个用于在两个Redis之间同步数据的工具，满足非常灵活的同步与迁移需求。支持解析、恢复、备份与同步四个功能：恢复（restore）：将RDB文件恢复到目的Redis数据库。备份

py-mysql-elasticsearch-syncMySQL-ElasticSearch 数据同步工具

一个将 MySQL 的数据同步到 ElasticSearch 的工具。首次初始导入基于mysqldu

lsyncd数据同步工具

Lsyncd监视本地目录树事件监视器界面（intify或fsevents）。它会汇总并合并事件几秒钟

lsyncd数据同步工具

Lsyncd监视本地目录树事件监视器界面（intify或fsevents）。它会汇总并合并事件几秒钟，然后生成一个（或多个）进程来同步更改。默认情况下，这是rsync。因此，Lsyncd是一种轻量级的

点赞

收藏

分享

举报