Hadoop云计算平台及相关组件搭建安装过程详细教程
——Hbase+Pig+Hive+Zookeeper+Ganglia+Chukwa+Eclipse等
一．安装环境简介
根据，Hadoop已在linux主机组成的集系统上得到验证，而windows平台是作为开发平台支持的，由于分布式操作尚未在windows平台上充分测试，所以还不作为一个生产平台。Windows下还需要安装Cygwin，Cygwin是在windows平台上运行的UNIX模拟环境，提供上述软件之外的shell支持。
实际条件下在windows系统下进行Hadoop伪分布式安装时，出现了许多未知问题。在linux系统下安装，以伪分布式进行测试，然后再进行完全分布式的实验环境部署。Hadoop完全分布模式的网络拓补图如图六所示：
（1）网络拓补图如六所示：
图六 完全分布式网络拓补图
（2）硬件要求：搭建完全分布式环境需要若干计算机集，Master和Slaves
处理器、内存、硬盘等参数要求根据情况而定。
（3）软件要求
操作系统64位Ubuntu12.04.4
JDK版本:
java安装完整教程
NO.
Project
Version
Content
1
Hardware environment
CPU: Intel 2.00 GHz
Disk : 150GB
Memory: 2.00GB
Master/NameNode IP:192.168.100.90
Slave1/DataNode IP:192.168.100.105
Slave2/DataNode IP:192.168.100.106
2
Operation system
Ubuntu-12.04
64-bit
3
JDK
/usr/bin/jvm/jdk1.7.0_51
4
Hadoop
hadoop-1.2.
/home/majiangbo/hadoop-1.2.1
5
Zookeeper
zookeeper-3.4.
/home/majiangbo/hadoop-1.2.1/zookeeper-3.4.6
6
HBase
Hbase-0.94.
/home/majiangbo/hadoop-1.2.1/hbase-0.94.20
7
Pig
pig-0.12.
/home/majiangbo/hadoop-1.2.1/pig-0.12.0
8
Hive
hive-0.12.
/home/majiangbo/hadoop-1.2.1/hive-0.12.0
9
Ganglia
/home/majiangbo/hadoop-1.2.1/
10
Eclipse
Eclipse standard 4.3.2
/home/majiangbo/eclipse
11
Hadoop for eclipse plugin
Hadoop-eclipse-plugin-1.2.1.jar
/home/majiangbo/eclipse/plugins
12
Chukwa
（可选）
并且所有机器均需配置SSH免密码登录。
二． Hadoop集安装部署
目前，这里只搭建了一个由三台机器组成的小集，在一个hadoop集中有以下角：Master和Slave、JobTracker和TaskTracker、NameNode和DataNode。下面为这三台机器分配IP地址以及相应的角：
192.168.100.90——master，namenode，jobtracker——master（主机名）
192.168.100.105——slave，datanode，tasktracker——slave1（主机名）
192.168.100.106——slave，datanode，tasktracker——slave2（主机名）
实验环境搭建平台如图七所示：
图七 hadoop集实验平台
并且，Hadoop要求集上每台的用户账户名和密码相同。具体安装步骤如下：
1.下载和安装JDK,版本为
（1）JDK的安装目录为/usr/lib/jvm，创建此文件夹，在终端输入命令：
mkdir /usr/lib/jvm
（2）权限不够的话重新改下用户密码就可以了，命令: sudo passwd,之后重新输入密码。
（3）移动jdk到/usr/lib/jvm，并解压,然后为了节省空间删除安装包。命令:
mv /usr/lib/jvm
tar –zxvf
rm –rf
2.配置环境变量
在终端输入命令：sudo gedit /etc/profile
打开profile文件，在文件最下面输入如下内容，如图八所示：
图八 JAVA环境变量设置
即为：
# set java environment
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_51

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。