实验报告⼀JDK+Hadoop 安装配置、单机模式配置、伪分布式、完全分布式配
置
在SecureCRT⾥⾯完成
⼀、基本操作
1.关闭防⽕墙
firewall-cmd --state 显⽰防⽕墙状态running/not running
systemctl stop firewalld 临时关闭防⽕墙，每次开机重新开启防⽕墙
systemctl disable firewalld 禁⽌防⽕墙服务。
**2.把下载在Windows⾥的JDK和HADOOP压缩包传输到虚拟机中
SecureCRT 【File】→【Connect SFTP Session】开启sftp操作
put F:\⼤数据软件
put F:\⼤数据软件 hadoop-2.7.
3.解压JDK、HADOOP
tar -zxvf -C /home/shui 解压安装
tar -zxvf hadoop-2.7. -C /home/shui 解压安装
4.配置JDK并⽣效
vi /etc/profile⽂件添加：
export JAVA_HOME=/home//shuidk/1.8.0_121
export PATH=PATH
Esc :wq!保存并退出。不需要配置CLASSPATH。
source /etc/profile配置⽣效
运⾏命令javac，检验是否成功。
5.配置HADOOP并⽣效
vi /etc/profile⽂件添加：
export HADOOP_HOME=/home/shui/hadoop-2.7.3
export PATH=HADOOP_HOME/sbin:$PATH
Esc :wq!保存并退出。
source /etc/profile配置⽣效
运⾏命令hadoop，检验是否成功。
⼆、单机模式配置hadoop -env.sh
vi /home/shui/hadoop-2.7.3/etc/hadoop/hadoop-env.sh⽂件修改
显⽰⾏号 Esc :set number
取消⾏号Esc :set nonumber
修改第25⾏export JAVA_HOME=/opt/module/jdk1.8.0_121
Esc :wq!保存并退出
三、Hadoop伪分布式模式配置
在基于以上操作的基础上，进⾏伪分布式配置，对以下⼏个⽂件进⾏配置。
1、l，在与之间添加
fs.defaultFS hdfs://bigdata001:p.dir /home/shui/hadoop-2.7.3/tmp
2、l，在与之间添加
3、
（1）运⾏l.l，选择yes。
（2）l，在与之间添加
mapreduce.framework.name yarn
4、l，在与之间添加
JAV A OME /bin :H HADOOP OME /bin :H
5、修改\etc\hosts配置⽂件
添加虚拟机的ip及对应主机名：
192.168.134.138 bigdata001
6、⑦修改\etc\hostname配置⽂件
运⾏命令 vi \etc hostname
添加虚拟机的主机名：
bigdata001
重启虚拟机，主机名⽣效。
*7、格式化
hdfs namenode -format （如果不是第⼀次格式化，格式化之前先删除/home/shui/hadoop-2.7.3/下⾯的tmp、logs两个⽬录）
8、 （如果启动之前已经启动过，）(启动记得关闭防⽕墙)
查看伪分布式配置是否成功：
①执⾏ll，查看/home/shui/hadoop-2.7.3/tmp/dfs⽬录，如下图所⽰，则正确。
②执⾏jps，如下图所⽰，NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager如果全部启动，伪分布式配置成功。
三、Hadoop完全分布式模式配置
克隆三台伪分布式作为备⽤，其中以bigdata002作为主节点，bigdata003、bigdata004作为⼦节点进⾏完全分布式。
1、修改以下配置⽂件
（1）slaves配置⽂件
三台虚拟机分别都运⾏命令 vi /home/shui/hadoop-2.7.3/etc/hadoop slaves
修改slaves为：
bigdata002
bigdata003
hadoop分布式集搭建
bigdata004
（2）修改\etc\hosts配置⽂件
三台虚拟机分别都运⾏命令 vi \etc hosts
注释已有内容，添加集三台虚拟机的ip及对应主机名：
192.168.134.139 bigdata002
192.168.134.140 bigdata003
192.168.134.141 bigdata004
（3）修改\etc\hostname配置⽂件
三台虚拟机分别都运⾏命令 vi \etc hostname
添加各⾃的主机名bigdata002或者bigdata003或者bigdata004。
重启全部虚拟机，主机名⽣效。
2、格式化
在主节点bigdata002上⾯输⼊格式化命令（hdfs namenode -format），格式化集。
注：如果不是第⼀次格式化，三台虚拟机都删除 \home\shui\hadoop-2.7.3\下⾯的tmp、logs⽬录：
rm –rf \home\shui\hadoop-2.7.3\tmp
rm –rf \home\shui\hadoop-2.7.3\logs
注：如果格式化之前启动过集，先在主节点bigdata002上⾯停⽌集（），再格式化。
3、启动集
在主节点bigdata002上⾯输⼊启动命令（），启动集。
注：如果启动之前启动过集，先在主节点bigdata128上⾯停⽌集（），再启动。
启动正常，输⼊jps命令，显⽰Jps、ResourceManager、SecondaryNameNode、NameNode。则启动成功。
在两台⼦节点上输⼊jps命令：显⽰NameNode、NodeManager、jps，则完全分布式配置成功。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。