ES-Fastloader离线数据索引生成方案
ES-Fastloader 是一种能够快速地为海量离线数据生成索引的方案,采用了一种 Build & Push 的机制,利用 Hadoop 强大的并行计算能力,可在 1-2 小时内极快速构建几十 TB 级的数据。解决了海量数据构建 ES 时,索引文件构建时效低的问题。
特征
- 支持批量构建ES索引,可在1-2小时内快速处理数十TB数据,解决构建海量ES索引文件时效率低下的问题。
- 支持算力横向扩展,扩展方便。通过增加机器资源,可以进一步提高索引构建速度和处理数据量。
要求
- JDK:8或更高
- ElasticSearch:6.6.X 或更高版本
开发者指南
评论