DTLE分布式数据传输中间件

联合创作 · 2023-09-30 20:18

DTLE是什么?

DTLE是一个开源的数据传输中间件,其针对的核心场景如下: 

  • 跨数据中心的数据传输:DTLE能在数据中心间进行可靠数据传输,并提供链路压缩以降低传输成本

  • 云间数据同步/迁移:DTLE能提供在公有云间架设数据同步通道,以支持数据容灾等需求

  • 数据汇聚:DTLE能将多个数据源汇聚到同一个数据源,以提供数据分析/数据转储的功能

  • 数据订阅:DTLE能将数据源的变更消息发往Kafka等消息中间件,以支持数据订阅通知/缓存失效通知等需求

  • 跨数据中心的双向复制:DTLE能在数据中心间提供双向复制通道,以配合业务实现数据双写

 

DTLE的设计特点

  • 分布式架构:DTLE在数据传输这个基本场景上,使用了成熟的分布式任务调度架构,可以便捷地在集群中配置大量的数据传输任务,提供断点续传/故障转移等分布式系统的重要特性

  • 灵活的网络适配能力:DTLE可适配复杂的网络架构,提供跨数据中心的数据通道功能和公有云间的数据通道功能

  • 多场景适配:DTLE通过组合多个原子任务,可适配复杂的数据传输场景

浏览 5
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报