ES-Fastloader离线数据索引生成方案

联合创作 · 2023-09-18

ES-Fastloader 是一种能够快速地为海量离线数据生成索引的方案,采用了一种 Build & Push 的机制,利用 Hadoop 强大的并行计算能力,可在 1-2 小时内极快速构建几十 TB 级的数据。解决了海量数据构建 ES 时,索引文件构建时效低的问题。

特征

  • 支持批量构建ES索引,可在1-2小时内快速处理数十TB数据,解决构建海量ES索引文件时效率低下的问题。
  • 支持算力横向扩展,扩展方便。通过增加机器资源,可以进一步提高索引构建速度和处理数据量。

要求

  • JDK:8或更高
  • ElasticSearch:6.6.X 或更高版本

开发者指南

浏览 2
点赞
评论
收藏
分享

手机扫一扫分享

编辑
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑
举报