hadoop完全分布式部署（linux）超详细版
概述：
利⽤多台Linux主机来进⾏部署Hadoop，对Linux机器集进⾏规划，使得Hadoop各个模块分别部署在不同的多台机器上。
新建⼀个虚拟机hadoop1为主站，分别克隆两个名为hadoop2和hadoop3的从站。
Hostname IP
hadoop1192.168.100.10
hadoop2192.168.100.11
hadoop3192.168.100.12
服务器功能规划：分别在3台主机上安装不同的功能
hadoop1hadoop2hadoop3
NameNode ResourceManage
DataNode DataNode DataNode
NodeManager NodeManager NodeManager
HistoryServer SecondaryNameNode
安装步骤：1、安装虚拟机，设置⽹络
2、在主站上安装好java和hadoop，
3、关闭防⽕墙 systemctl stop firewalld
4、配置l、l、slaves、l、l
5、分别在三台主机上设置SSH⽆密码登录
6、分发主站的hadoop和java到两个从站上
7：启动集，查看三台主机的进程。
验证：在hadoop1上运⾏namenode，在hadoop2上运⾏yarn，在hadoop3上运⾏SecondaryNameNode。通过测试⼀个例⼦，分别在三个主机上查看
完全分布式安装
1、设置虚拟机⽹络
新增NAT模式，修改⼦⽹IP为192.168.100.0
修改NAT设置
2、安装Linux系统 hadoop1，安装完成后右击克隆两个作为从站的主机
分别修改主站和两个从站的IP和hostname，具体参考概述的表格。即主站为hadoop1，两个从站分别为hadoop2及hadoop3 sudo vim /etc/hostname
配置hosts：
sudo vim /etc/hosts
三台机器hosts都配置为： 设置完成后可以ping⼀下来测试三个主机之间是否可以连接。
192.168.100.10 hadoop1
192.168.100.11 hadoop2
192.168.100.12 hadoop3
3、在主站安装Java 和 Hadoop （主站配置好后，通过分发复制到其他从站）
安装步骤可以参考我的其他篇博客，配置如下。
JAVA_HOME=/usr/local/jdk1.8.0_171
CLASSPATH=.:$JAVA_ls.jar
HADOOP_HOME=/usr/local/hadoop-2.9.2
PATH=$JAVA_HOME/bin:$PATH/bin:$HADOOP_HOME/bin
export JAVA_HOME  CLASSPATH PATH HADOOP_HOME
验证验证是否成功：
[root@hadoop1 hadoop-2.9.2]# java -version
java version "1.8.0_171"
Java(TM) SE Runtime Environment (build 1.8.0_171-b11)
虚拟机linux安装jdkJava HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)
[root@hadoop1 hadoop-2.9.2]# hadoop version
Hadoop 2.9.2
Subversion /repos/asf/hadoop.git -r 826afbeae31ca687bc2f8471dc841b66ed2c6704 Compiled by ajisaka on 2018-11-13T12:42Z
Compiled with protoc 2.5.0
From source with checksum 3a9939967262218aa556c684d107985
This command was run using /usr/local/hadoop-2.9.2/share/hadoop/common/hadoop-common-2.9.2.jar
4、配置Hadoop JDK路径修改hadoop-env.sh、mapred-env.sh、yarn-env.sh⽂件中的JDK路径：
5、配置l      l

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。