DTLE分布式数据传输中间件
DTLE是什么?
DTLE是一个开源的数据传输中间件,其针对的核心场景如下:
跨数据中心的数据传输:DTLE能在数据中心间进行可靠数据传输,并提供链路压缩以降低传输成本
云间数据同步/迁移:DTLE能提供在公有云间架设数据同步通道,以支持数据容灾等需求
数据汇聚:DTLE能将多个数据源汇聚到同一个数据源,以提供数据分析/数据转储的功能
数据订阅:DTLE能将数据源的变更消息发往Kafka等消息中间件,以支持数据订阅通知/缓存失效通知等需求
跨数据中心的双向复制:DTLE能在数据中心间提供双向复制通道,以配合业务实现数据双写
DTLE的设计特点
分布式架构:DTLE在数据传输这个基本场景上,使用了成熟的分布式任务调度架构,可以便捷地在集群中配置大量的数据传输任务,提供断点续传/故障转移等分布式系统的重要特性
灵活的网络适配能力:DTLE可适配复杂的网络架构,提供跨数据中心的数据通道功能和公有云间的数据通道功能
多场景适配:DTLE通过组合多个原子任务,可适配复杂的数据传输场景
评论