首页 > 高级民工 > Hadoop Eclipse插件使用问题

Hadoop Eclipse插件使用问题

2014年12月8日 发表评论 阅读评论

Hadoop2.4.1+win7+eclipse

首先需要配置环境变量,添加: HADOOP_HOME,并且下载hadoop window下的工具,https://codeload.github.com/srccodes/hadoop-common-2.2.0-bin/zip/master ,解压后复制winutils.exe和hadoop.dll到HADOOP_HOME/bin下。

 

1.不能删除HDFS文件

在windows下Hadoop的Eclipse插件在删除HDFS上文件的时候提示没有权限,解决方式是设系统变量添加:

HADOOP_USER_NAME =username

 

username是hadoop中配置的系统用户。

 

2.Map/Reduce任务无法提交到集群中
任务配置设置如下项:

conf.set("fs.defaultFS", "hdfs://master:9000");
conf.set("hadoop.job.user", "hadoop");
conf.set("mapreduce.framework.name", "yarn");
conf.set("mapreduce.jobtracker.address", "master:9001");
conf.set("yarn.resourcemanager.hostname", "master");
conf.set("yarn.resourcemanager.admin.address", "master:8033");
conf.set("yarn.resourcemanager.address", "master:8032");
conf.set("yarn.resourcemanager.resource-tracker.address", "master:8036");
conf.set("yarn.resourcemanager.scheduler.address", "master:8030");

3.提交任务后出现 /bin/bash: line 0: fg: no job control

conf.set("mapreduce.app-submission.cross-platform","true");
分类: 高级民工 标签:
  1. 本文目前尚无任何评论.

点击刷新