存档

文章标签 ‘Hadoop’

Hadoop Eclipse插件使用问题

2014年12月8日 没有评论

Hadoop2.4.1+win7+eclipse

首先需要配置环境变量,添加: HADOOP_HOME,并且下载hadoop window下的工具,https://codeload.github.com/srccodes/hadoop-common-2.2.0-bin/zip/master ,解压后复制winutils.exe和hadoop.dll到HADOOP_HOME/bin下。

 

1.不能删除HDFS文件

在windows下Hadoop的Eclipse插件在删除HDFS上文件的时候提示没有权限,解决方式是设系统变量添加:

HADOOP_USER_NAME =username

 

username是hadoop中配置的系统用户。

 

2.Map/Reduce任务无法提交到集群中
任务配置设置如下项:

conf.set("fs.defaultFS", "hdfs://master:9000");
conf.set("hadoop.job.user", "hadoop");
conf.set("mapreduce.framework.name", "yarn");
conf.set("mapreduce.jobtracker.address", "master:9001");
conf.set("yarn.resourcemanager.hostname", "master");
conf.set("yarn.resourcemanager.admin.address", "master:8033");
conf.set("yarn.resourcemanager.address", "master:8032");
conf.set("yarn.resourcemanager.resource-tracker.address", "master:8036");
conf.set("yarn.resourcemanager.scheduler.address", "master:8030");

3.提交任务后出现 /bin/bash: line 0: fg: no job control

conf.set("mapreduce.app-submission.cross-platform","true");
分类: 高级民工 标签:

编译Hadoop2.5.2

2014年11月26日 没有评论

1.当前环境

centos6.3

2.需要具备的工具和库

Maven 3.3.2 下载地址:http://apache.fayea.com/apache-mirror/maven/maven-3/3.2.3/binaries/apache-maven-3.2.3-bin.tar.gz

gcc c++等编译工具,执行yum安装: yum install make cmake zlib-devel openssl-devel gcc gcc+ gcc-c++

还需要google的protobuf,下载地址:https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz,解压后编译即可,./configure ; make ; make install

3.编译

hadoop源码下载:http://www.apache.org/dyn/closer.cgi/hadoop/common/

解压后进入编译:

mvn package -Pdist,native -DskipTests -Dtar

 

注:使用官方编译好的hadoop时出现:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

解决办法,使用自己编译的hadoop或者复制自己编译的lib/native下面的文件。

分类: 高级民工 标签: