hadoop2.6.0+HBase1.0.1.1安装+Hive安装+异常总结 下载本文

1. cd /usr/local/hadoop-2.6.0/etc/hadoop 2. vim slaves 将原来 localhost 删除,把所有Slave的主机名写上,每行一个。例如我有两个 Slave节点,那么该文件内容就是: Slave1 Slave2 2, 文件 core-site.xml ,将原本的如下内容: 改为下面的配置。后面的配置文件的修改类似。 fs.defaultFS hdfs://Master:9000 hadoop.tmp.dir file:/usr/local/hadoop-2.6.0/tmp Abase for other temporary directories. 3, 文件hdfs-site.xml,因为只有两个Slave,所以dfs.replication的值设为2。

dfs.namenode.secondary.http-address Master:50090 dfs.namenode.name.dir file:/usr/local/hadoop-2.6.0/tmp/dfs/name dfs.datanode.data.dir file:/usr/local/hadoop-2.6.0/tmp/dfs/data dfs.replication 2 4, 文件mapred-site.xml,这个文件不存在,首先需要从模板中复制一份: 1. cp mapred-site.xml.template mapred-site.xml 然后配置修改如下: mapreduce.framework.name yarn 5, 文件yarn-site.xml: yarn.resourcemanager.hostname Master yarn.nodemanager.aux-services mapreduce_shuffle 6,文件hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_79

配置好后,用scp命令将 Master 上的 Hadoop 文件复制到各个节点上。 1. cd /usr/local 2. rm -rf ./hadoop-2.6.0/tmp # 删除 Hadoop 临时文件 3. scp –r ./hadoop-2.6.0Slave1:/usr/local 4. scp –r ./hadoop-2.6.0Slave2:/usr/local 在Slave1上执行: 1. sudo chown -R hadoop:hadoop /usr/local/hadoop-2.6.0 切换 Hadoop 模式应删除之前的临时文件 切换 Hadoop 的模式,不管是从集群切换到伪分布式,还是从伪分布式切换到集群,如果遇到无法正常启动的情况,可以删除所涉及节点的临时文件夹,这样虽然之前的数据会被删掉,但能保证集群正确启动。或者可以为集群模式和伪分布式模式设置不同的临时文件夹(未验证)。所以如果集群以前能启动,但后来启动不了,特别是 DataNode 无法启动,不妨试着删除所有节点(包括 Slave 节点)上的 tmp 文件夹,重新执行一次 bin/hdfs namenode -format,再次启动试试。

然后在Master节点上就可以启动hadoop了。

1. cd /usr/local/hadoop-2.6.0/ 2. bin/hdfs namenode -format # 首次运行需要执行初始化,后面不再需要 3. sbin/start-all.sh 通过命令jps可以查看各个节点所启动的进程。 通过jps查看Master的Hadoop进程 可以看到Master节点启动了NameNode、SecondrryNameNode、ResourceManager进程。 通过jps查看Slave的Hadoop进程 Slave节点则启动了DataNode和NodeManager进程。 另外也可以在Master节点上通过命令bin/hdfs dfsadmin -report查看DataNode是否正常启动。例如我这边一共有2个Datanodes。