Hadoop+Zookeeper+HBase安装指南
RUC DB-IIR 卞昊穹
blog.csdn/bhq2010
bianhaoqiong@gmail
2012.07.28-Version1
集情况：
4个节点，IP分别为：
node0:  192.168.181.136(NameNode/JobTracker/SecondaryNameNode/HMaster)
node1:  192.168.181.132(DataNode/TaskTracker/HRegionServer/QuorumPeerMain)
node2:  192.168.181.133(DataNode/TaskTracker/HRegionServer/QuorumPeerMain)
node3:  192.168.181.134(DataNode/TaskTracker/HRegionServer/QuorumPeerMain)
软件版本：
CentOS Linux 6.2 x86_64(2.6.32)
hadoop分布式集搭建OpenJDK-1.6.0_24
Hadoop-1.0.2
Zookeeper-3.4.3
HBase-0.94.0
目录
1. hosts和hostname设置 (2)
2. SSH设置 (2)
3. Hadoop配置安装 (3)
4. Zookeeper配置安装 (5)
5. HBase配置安装 (6)
1. hosts和hostname设置
安装分布式的Hadoop和HBase集需要在每一个节点上都设置网络中的hosts和本机的hostname。
首先将/etc/hosts文件中127.0.0.1这一行的中间一段改为本机的主机名，并在文件末尾添加hosts配置，每行为一个ip地址和对应的主机名，以空格分隔。以node0为例，修改后的hosts 文件如下：
再将/etc/sysconfig/network文件中HOSTNAME=一行中“=”之后内容改为主机名，如：
2. SSH设置
之后，在node0生成ssh公钥，添加到node1/2/3的~/.ssh/authorized_keys文件中以实现node0无密码登录node1/2/3，参考：
blog.csdn/bhq2010/article/details/6845985
此处node0是ssh客户端，node1/2/3是ssh服务器端。CentOS系统中还需要将authorized_keys 文件的权限改为600：
3. Hadoop配置安装
下载Hadoop-1.0.：
mirror.bjtu.edu/apache/hadoop/common/hadoop-1.0.2/
加压后，修改conf目录下的6个配置文件[1]，如下：
1. hadoop-env.sh
在该文件设置了Hadoop的环境变量，至少要修改JAVA_HOME，使其指向JDK-1.6的安装目录/usr/lib/jvm/java-1.6.0
即使操作系统中已经设置了JAVA_HOME环境变量，此处仍然需要设置。
2. l
第一项指定文件系统为node0节点9000端口上的HDFS，第二项指定hadoop所有数据的保存路径（该路径要存在），该项默为/tmp/hadoop-{username}，系统重启可能会导致数据丢失。
3. l
止运行Map-Reduce作业时出现内存不足，这两项要根据实际的需要和系统空闲的内存容量设定。
4. l
第一项设定了文件系统备份的个数，通常为3，第二项允许对文件的append操作，是为HBase 设置的，第三项关闭权限检查，方便以后的远程的hadoop-eclipse插件访问hdfs，第四项设置DataNode同时可供访问的文件数上限，由于HBase需要同时操作大量的文件，该项至少要设置为4096。
5. masters
此文件指定HDFS的DataNode所在的节点，本文中该文件包含三行：
至此，Hadoop配置完成，将配置好的Hadoop安装目录下所有文件分发到集中所有节点的/home/hadoop/hadoop-1.0.2路径下
之后在/etc/rc.d/rc.local文件末尾添加如下内容，使得开机时关闭防火墙：
node0:50070
查看HDFS信息，访问：
node0:50030
查看Mao-Reduce信息，如果正常，则Hadoop安装成功。
关闭Hadoop：
4. Zookeeper配置安装
下载zookeeper-3.4.：
mirror.bjtu.edu/apache/zookeeper/zookeeper-3.4.3/
解压后，将conf目录下的zoo-example.cfg文件重命名为zoo.cfg[2]，修改其中的内容如下（未
个节点。
然后将配置好的Zookeeper分发到server.1/2/3上的/home/hadoop/zookeeprt-3.4.3下，并在每一个节点的dataDir，即/home/hadoop/zookeeper下创建一个myid文件，其中包含一个该节点对应的数字，即server.1/2/3中'.'后面的数字，该数字应该在1-255之间。
上分别启动Zookeeper：
在server.1/2/3
测试3个节点是否可以被访问：
关闭Zookeeper同样需要在不同的节点分别操作：

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。