Hadoop的安装总结1硬件需求
内存容量:4G以上
硬盘容量:500G以上
CPU :4核以上
2 软件需求
操作系统
⽅案⼀:操作系统:Linux,建议ubuntu 16.04
⽅案⼆: 操作系统:Windows64位,建议windows7 64位
虚拟机:建议VMware Workstation Pro
其他软件: JAVA:jdk1.7以上,建议1.8版本
Eclipse
hadoop安装详细步骤linux
Hadoop:建议2.7.4
Hbase:建议1.3版本
3 软件安装
将JAVA、Eclipse、Hadoop、(Hbase可以后期安装)的解压版copy到⽬录
/home/hadoop/apps
并分别建⽬录:
/home/hadoop/apps/jdk
/home/hadoop/apps/ Eclipse
/home/hadoop/apps/ Hadoop
/home/hadoop/apps/Hbase
4 操作系统ubuntu 16.04环境变量设置
打开命令⾏窗⼝terminal:
快捷键:
Ctrl+Alt+T
编辑⽤户启动所需⽂件bashrc
命令
$ gedit ~/.bashrc
内容如下:
export JAVA_HOME=/home/hadoop/apps/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/home/hadoop/apps/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
执⾏⽤户启动所需⽂件bashrc
命令
$source ~/.bashrc
查看
$java –version $hadoop version
5 编辑Hadoop启动所需⽂件l
home/apps/hadoop/l增加内容:
<configuration>
<property>
<name&p.dir</name>
<value>file:/home/hadoop/apps/hadoop/tmp
</value>
<description>
Abase for other temporary directories.
</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
6 编辑Hadoop启动所需⽂件l
增加内容:
<configuration>
<property>
<name&plication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/apps/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/apps/hadoop/tmp/dfs/data</value>
</property>
</configuration>
7 SSH的安装与配置
关闭防⽕墙
处理可能出现的异常ssh:connect to host localhost port 22:Connection refused $sudo ufw disable
安装 openssh-server
$sudo apt-get update
$sudo apt-get install openssh-server
$SSH IP
配置SSH⽆密码登录
$ssh-keygen -t rsa -P ''
$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ssh localhost
8 启动Hadoop
格式化namenode
$bin/hadoop namenode -format
启动Hadoop节点
启动 $sbin/start-all.sh
显⽰ $jps
出现如图所⽰内容,则说明安装成功
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论