Hadoop2.2.0+Hbase0.98.1+Sqoop1.4.4+Hive0.13完全安装手册
mysql的jar包下载 文档时间 | 2014/7/04 |
各软件版本 | |
Hadoop | 2.2.0 |
Hbase | 0.98.1 |
Sqoop | 1.4.4 |
Hive | 0.13 |
前言: 3
一. Hadoop安装(伪分布式) 4
1. 操作系统 4
2. 安装JDK 4
1> 下载并解压JDK 4
2> 配置环境变量 4
3> 检测JDK环境 4
3. 安装SSH 5
1> 检验ssh是否已经安装 5
2> 安装ssh 5
3> 配置ssh免密码登录 5
4. 安装Hadoop 6
1> 下载并解压 6
2> 配置环境变量 6
3> 配置Hadoop 6
4> 启动并验证 8
前言:
网络上充斥着大量Hadoop1的教程,版本老旧,Hadoop2的中文资料相对较少,本教程的宗旨在于从Hadoop2出发,结合作者在实际工作中的经验,提供一套最新版本的Hadoop2相关教程。
为什么是Hadoop2.2.0,而不是Hadoop2.4.0
本文写作时,Hadoop的最新版本已经是2.4.0,但是最新版本的Hbase0.98.1仅支持到Hadoop2.2.0,且Hadoop2.2.0已经相对稳定,所以我们依然采用2.2.0版本。
一. Hadoop安装(伪分布式)
1. 操作系统
Hadoop一定要运行在Linux系统环境下,网上有windows下模拟linux环境部署的教程,放弃这个吧,莫名其妙的问题多如牛毛。
2. 安装JDK
1> 下载并解压JDK
我的目录为:/home/apple/jdk1.8
2> 配置环境变量
打开/etc/profile,添加以下内容:
export JAVA_HOME=/home/apple/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
执行source /etc/profile ,使更改后的profile生效。
执行以下命令,赋予JDK运行的权限:
chmod 777 /home/apple/jdk1.8/bin/*
chmod 777 /home/apple/jdk1.8/lib/*
3> 检测JDK环境
执行 java –version ,查看结果,如出现如下提示,则说明JDK已成功配置:
3. 安装SSH
1> 检验ssh是否已经安装
Ubuntu系统可以通过如下命令来查看ssh是否已经安装:
netstat -an| grep 22
如果已安装,可跳过第二步。
2> 安装ssh
Ubuntu系统可以通过如下命令来安装ssh:
sudo apt-get install ssh
3> 配置ssh免密码登录
通过如下命令来配置ssh免密码登录:
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论