大数据任务调度平台选型建议
一 背景数仓建设过程中,随着业务发展, ETL 任务调度越来越多,并且这些任务的形态多种多样。怎么样让大量的 ETL 任务准确的完成调度而不出现问题,甚至在任务调度执行中出现错误的情况下,任务能够完成自我恢复甚...
大数据AI
0
基于 Reactive Mode 的 Flink 自动扩容
翻译自 Apache Flink: Scaling Flink automatically with Reactive Mode[1] 简介 流式作业长时间运行过程中常常会经历不同流量负载的情况。流量负载会出现周期性的变化,如:白天与晚上、周末与工作日、节假日与非节...
大数据AI
0
Ambari 使用 Knox 进行 LDAP 身份认证
Knox有如下两种认证方式: ShiroProvider 对于LDAP/AD身份验证,使用用户名和密码。没有SPNEGO/Kerberos支持。 HadoopAuth 对于SPNEGO/Kerberos身份验证,使用委派令牌。没有LDAP/AD支持。 下面我们主要介绍下LDAP认...
大数据AI
0
CDH6.3.2企业级安装实战(二)
五、HDFS HA配置 启用和禁用高可用性会导致HDFS服务以及所有依赖HDFS的服务中断。在启用或禁用HA之前,请确保集群上没有正在运行的作业。 启动 HA 前,存在 SecondaryNameNode: 1、启用 High Avaliaability 2、Names...
大数据AI
0