IDEA配置Hadoop远程调试环境
大数据AI
共 939字,需浏览 2分钟
·
2021-08-17 09:42
远程 hadoop版本:Hadoop 3.0.0+cdh6.3.2
一、设置本地hadoop环境
1、下载hadoop
下载 hadoop-3.0.0.tar.gz ,并解压到 D:\BigData\
并重命名为 hadoop,如下图所示:
2、配置环境变量
2.1 HADOOP_HOME
配置 HADOOP_HOME 环境变量:
2.2 HADOOP_USER_NAME
2.2.1 更改Winows用户名
设置windows用户,只是能在 Big Data Tools中有权限可视化操作HDFS文件
HDFS 程序操作HDFS时,是根据配置的HADOOP_USER_NAME环境变量中配置的用户操作HDFS的
2.2.2 设置HADOOP_USER_NAME环境变量
HADOOP_USER_NAME
本地操作远程HDFS的用户,不设置默认使用Windows的用户,当操作HDFS时会出现没有访问权限。
或者在Java代码中设置变量:
System.setProperty("HADOOP_USER_NAME", "song");
优先级:Windows系统变量 > Java环境变量设置
3、winutils
从https://github.com/steveloughran/winutils下载针对Windows环境的Hadoop修正程序winutils(Hadoop-3.0.0对应路径https://github.com/steveloughran /winutils /tree /master/hadoop-3.0.0 )替换本地hadoop的bin目录;
二、Intelj IDEA配置
1、安装 Big Data Tools
2、下载 HDFS 客户端配置
解压并存放于D:\BigData\hadoop\hadoop-conf
;
3、配置 Big Data Tools
3.1 选择 HDFS
3.2 选择 HDFS 配置路径
3.3 验证
评论