搜索

HdfsDataExchangerhdfs 集群间数据交换

0粉丝
背景当前比较流行的hdfs间数据迁移工具有hadoop默认提供的distcp，阿里开源的DataX，这些工具能够满足常规的大部分需求，但是当时碰到ha
知识
简介
背景当前比较流行的hdfs间数据迁移工具有hadoop默认提供的distcp，阿里开源的DataX，这些工具能够满足常规的大部分需求，但是当时碰到hadoop版本不一致、keberos授权等场景时就行不通了。针对这些特殊的应用场景和实际需求我就构思并实现了HdfsDataExchanger这种实现方... 更多
其它信息
地区
国产
开发语言
Java
开源组织
无
所属分类
数据库相关、 数据库管理工具
授权协议
未知
操作系统
跨平台
收录时间
2023-09-30
软件类型
开源软件
适用人群
未知

时光轴

里程碑1
LOG0
2023
2023-09
轻识收录
打卡
我要打卡
我要打卡
评价
0.0（满分 10 分）0 个评分
什么是点评分
图片
表情
全部评价( 0)
推荐率 100%
推荐
Flink Remote ShuffleFlink 任务间数据交换
Flink Remote Shuffle 是一种批场景下利用外部服务完成任务间数据交换的 Shuff
Flink Remote ShuffleFlink 任务间数据交换
FlinkRemoteShuffle是一种批场景下利用外部服务完成任务间数据交换的Shuffle实现，本文后续将详细介绍FlinkRemoteShuffle研发的背景，以及FlinkRemoteShu
Power-JSON数据交换格式
Powerjson是由JSON改进而成的数据交换格式，它将JSON支持了部分JavaScript语法，使其更加高效可用，并且解决了许多JSON历史遗留下来的问题。它支持 单引号字符串, 多行字符串, 
MapForce电子数据交换
Altova MapForce® 2008是您首选的数据综合和网络服务器实现工具。它可以通过映射数据
JSON数据交换格式
JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。易于人阅读和编写，同时也易于机器解析和生成。它基于JavaScript（StandardECMA-2623rdE
JSON数据交换格式
JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。易于人
Power-JSON数据交换格式
Powerjson 是由 JSON 改进而成的数据交换格式，它将 JSON 支持了部分 JavaSc
MapForce电子数据交换
AltovaMapForce®2008是您首选的数据综合和网络服务器实现工具。它可以通过映射数据源到WSDLO操作的方法，实现多种文件之间的转化，包括XML文件,数据库文件,平面文件数据库和EDI数据
DataX异构数据源数据交换工具
DataX是一个让你方便的在异构数据源之间交换数据的离线同步框架/工具，实现了在任意的数据处理系统之间的数据交换，目前DataX在淘宝内部每天约有5000道同步任务分布在全天各个时段，平均每天同步数据
Apache Arrow内存数据交换格式
ApacheArrow是Apache基金会下一个全新的开源项目，同时也是顶级项目。它的目的是作为一个跨平台的数据层来加快大数据分析项目的运行速度。用户在应用大数据分析时除了将Hadoop等大数据平台作