Hadoop、Zookeeper、Hbase、Hive集安装配置手册
运行环境
机器配置
虚机
CPU E5504*2 (4核心)、内存 4G、硬盘25G
进程说明
QuorumPeerMain ZooKeeper ensemble member DFSZKFailoverController Hadoop HA进程，维持NameNode高可用 JournalNode Hadoop HA进程，JournalNode存储EditLog,
每次写数据操作有大多数(>=N+1)返回成功时
即认为该次写成功，保证数据高可用 NameNode Hadoop HDFS进程，名字节点
DataNode HadoopHDFS进程， serves blocks NodeManager Hadoop YARN进程，负责 Container 状态的
维护，并向 RM 保持心跳。 ResourceManager Hadoop YARN进程，资源管理 JobTracker Hadoop MR1进程，管理哪些程序应该跑在哪
些机器上，需要管理所有 job 失败、重启等
操作。
TaskTracker Hadoop MR1进程，manages the local Childs RunJar Hive进程
HMaster HBase主节点
HRegionServer HBase RegionServer, serves regions JobHistoryServer 可以通过该服务查看已经运行完的
mapreduce作业记录
应用 服务进程 主机/hostname 系统版
本
mysql mysqld
10.12.34.14/archive.cloudera Centos
5.8
10.12.34.15/h15 Centos
5.8 Hadoop
Zookeeper
Hbase
Hive
QuorumPeerMain
DFSZKFailoverController
NameNode
NodeManager
RunJar
HMaster
JournalNode
JobHistoryServer
ResourceManager
DataNode
HRegionServer
10.12.34.16/h16 Centos
5.8 Hadoop
Zookeeper
Hbase
Hive
DFSZKFailoverController
QuorumPeerMain
HMaster
JournalNode
NameNode
ResourceManager
DataNode
HRegionServer
NodeManager
10.12.34.17/h17 Centos
5.8 Hadoop
Zookeeper
Hbase
Hive
NodeManager
DataNode
QuorumPeerMain
JournalNode
HRegionServer
环境准备
1.关闭防火墙
15、16、17主机：
# service iptables stop
2.配置主机名
a) 15、16、17主机：
# vi /etc/hosts
添加如下内容：
10.12.34.15 h15
10.12.34.16 h16
10.12.34.17 h17
b) 立即生效
15主机：
# /bin/hostname h15
16主机：
# /bin/hostname h16
17主机：
# /bin/hostname h17
3. 创建用户
15、16、17主机：
# useraddhduser
密码为hduser
# chown -R hduser:hduser /usr/local/
4.配置SSH无密码登录
a)修改SSH配置文件
15、16、17主机：
# vi /etc/ssh/sshd_config
打开以下注释内容：
#RSAAuthentication yes
#PubkeyAuthentication yes
#AuthorizedKeysFile .ssh/authorized_keys
b)重启SSHD服务
15、16、17主机：
# service sshd restart
c)切换用户
15、16、17主机：
# su hduser
d)生成证书公私钥
15、16、17主机：
$ ssh‐keygen ‐t rsa
e)拷贝公钥到文件（先把各主机上生成的SSHD公钥拷贝到15上的authorized_keys文
件，再把包含所有主机的SSHD公钥文件authorized_keys拷贝到其它主机上）
15主机：
$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
16主机：
$cat ~/.ssh/id_rsa.pub | ssh hduser@h15 'cat >> ~/.ssh/authorized_keys'
17主机：
$cat ~/.ssh/id_rsa.pub | ssh hduser@h15 'cat >> ~/.ssh/authorized_keys'
15主机：
# cat ~/.ssh/authorized_keys | ssh hduser@h16 'cat >> ~/.ssh/authorized_keys'
# cat ~/.ssh/authorized_keys | ssh hduser@h17 'cat >> ~/.ssh/authorized_keys'
5.Mysql
a) Host
10.12.34.14:3306
b) username、password
hduser@hduser
Zookeeper
使用hduser用户
# su hduser
安装（在15主机上）
1.下载
mysql下载32位mirrorsnic/apache/zookeeper/
2.解压缩
$ tar ‐zxvf /zookeeper‐3.4. ‐C /usr/local/
配置（在15主机上）
1.将zoo_sample.cfg重命名为zoo.cfg
$ mv /usr/local/zookeeper‐3.4.6/conf/zoo_sample.cfg /usr/local/zookeeper‐3.4.6/conf/zoo.cfg
2.编辑配置文件
$ vi /usr/local/zookeeper‐3.4.6/conf/zoo.cfg
a)修改数据目录
dataDir=/tmp/zookeeper修改为dataDir=/usr/local/zookeeper‐3.4.6/data
b)配置server
添加如下内容：
server.1=h15:2888:3888
server.2=h16:2888:3888
server.3=h17:2888:3888
server.X=A:B:C说明：
X：表示这是第几号server
A：该server hostname/所在IP地址
B：该server和集中的leader交换消息时所使用的端口
C：配置选举leader时所使用的端口
3.创建数据目录
$ mkdir /usr/local/zookeeper‐3.4.6/data
4.创建、编辑文件
$ vi /usr/local/zookeeper‐3.4.6/data/myid
添加内容（与zoo.cfg中server号码对应）：
1
在16、17主机上安装、配置
1.拷贝目录
$ scp ‐r /usr/local/zookeeper‐3.4.6/ hduser@10.12.34.16:/usr/local/
$ scp ‐r /usr/local/zookeeper‐3.4.6/ hduser@10.12.34.17:/usr/local/
2.修改myid
a)16主机
$ vi /usr/local/zookeeper‐3.4.6/data/myid
1 修改为2
b)17主机
$ vi /usr/local/zookeeper‐3.4.6/data/myid
1修改为3
启动
$ cd /usr/local/zookeeper‐3.4.6/
$./bin/zkServer.sh start
查看状态：
$./bin/zkServer.sh status
Hadoop
使用hduser用户
# su hduser
安装（在15主机上）
一、安装Hadoop
1.下载
mirrors.hust.edu/apache/hadoop/common/
2.解压缩
$ tar ‐zxvf /hadoop‐2.4. ‐C /usr/local/
二、 编译本地库，主机必须可以访问internet。下载的hadoop‐2.4.所带的本
地库为32位（使用# file /usr/local/hadoop‐2.4.0/lib/native/libhadoop.so查看，如内容为：/usr/local/hadoop-2.4.0/lib/native/libhadoop.so: ELF 32-bit LSB s hared object, Intel 80386, version 1 (SYSV), not stripped），导致无法使用本地库（WARN util.NativeCodeLoader: Unable to load native‐hadoop library for using builtin‐java classes where applicable），需要自行编译64位本地库，也可以直接使用随文档附件native.zip，使用方法参见替换32位本地库，该本地库是在
centos5.8环境下编译的，因此需注意实际环境。
1.使用root用户
$ su root
2.安装zlib
www.zlib/
b)解压缩
# tar ‐zxvf /zlib‐1.2. ‐C /
c)进入目录
# cd /zlib‐1.2.8
d)安装
# ./configure
# make
# make install
3.安装openssl
a)下载
/source/
b)解压缩
# tar ‐zxvf openssl‐1.0.
c)进入目录
# cd openssl‐1.0.1i
d)安装
# ./config
# make
# make install
e)使用当前ssl
# ln ‐s /usr/local/ssl/include/openssl/ /usr/include/openssl
4.安装JDK
a)下载
acle/technetwork/java/javase/downloads
b)解压缩
# tar ‐zxvf /jdk‐6u25‐linux‐ ‐C /usr/local/
c)配置环境变量
# vi /etc/profile
添加以下内容：
JAVA_HOME=/usr/local/jdk1.6.0_25
CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar
PATH=$JAVA_HOME/bin:$PATH:$HOME/bin:$JAVA_HOME/jre/bin
立即生效：
# source /etc/profile
5.安装ant
a)下载
/i
b)解压缩
# tar ‐zxvf /usr/local/apache‐ant‐1.9.4‐ ‐C /usr/local/
6.安装maven
a)下载
/i
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论