Hadoop2.2.0+Hbase0.98.1+Sqoop1.4.4+Hive0.13完全安装手册
mysql的jar包下载
文档时间
2014/7/04
各软件版本
Hadoop
2.2.0
Hbase
0.98.1
Sqoop
1.4.4
Hive
0.13

前言:    3
一. Hadoop安装(伪分布式)    4
1. 操作系统    4
2. 安装JDK    4
1> 下载并解压JDK    4
2> 配置环境变量    4
3> 检测JDK环境    4
3. 安装SSH    5
1> 检验ssh是否已经安装    5
2> 安装ssh    5
3> 配置ssh免密码登录    5
4. 安装Hadoop    6
1> 下载并解压    6
2> 配置环境变量    6
3> 配置Hadoop    6
4> 启动并验证    8

前言:
网络上充斥着大量Hadoop1的教程,版本老旧,Hadoop2的中文资料相对较少,本教程的宗旨在于从Hadoop2出发,结合作者在实际工作中的经验,提供一套最新版本的Hadoop2相关教程。
为什么是Hadoop2.2.0,而不是Hadoop2.4.0
本文写作时,Hadoop的最新版本已经是2.4.0,但是最新版本的Hbase0.98.1仅支持到Hadoop2.2.0,且Hadoop2.2.0已经相对稳定,所以我们依然采用2.2.0版本。
一. Hadoop安装(伪分布式)
1. 操作系统
Hadoop一定要运行在Linux系统环境下,网上有windows下模拟linux环境部署的教程,放弃这个吧,莫名其妙的问题多如牛毛。
2. 安装JDK
1> 下载并解压JDK
我的目录为:/home/apple/jdk1.8
2> 配置环境变量
打开/etc/profile,添加以下内容:
export JAVA_HOME=/home/apple/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
执行source /etc/profile ,使更改后的profile生效。
执行以下命令,赋予JDK运行的权限:
chmod 777 /home/apple/jdk1.8/bin/*
chmod 777 /home/apple/jdk1.8/lib/*
3> 检测JDK环境
执行 java –version ,查看结果,如出现如下提示,则说明JDK已成功配置:
3. 安装SSH
1> 检验ssh是否已经安装
Ubuntu系统可以通过如下命令来查看ssh是否已经安装:
netstat -an| grep 22
如果已安装,可跳过第二步。
2> 安装ssh
Ubuntu系统可以通过如下命令来安装ssh:
sudo apt-get install ssh
3> 配置ssh免密码登录
通过如下命令来配置ssh免密码登录:
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。