Hadoop集搭建详细过程
所需软件:
1. VMware
2. iso镜像
( centOS6.5镜像⽂件：链接：pan.baidu/s/19uUX_M-jE6xI8kBwxhydSA
密码：xs54 )
3. linux客户端操作软件 (Xshell5+Xftp)(pan.baidu/s/1NqtNSvcNR5TlkF6UQ4BPZg  密码：h8f1 )
4. jdk1.8安装rpm包(同⼀使⽤该⽅式)：(链接：pan.baidu/s/1wko89Lo1tAdPcM8r7FhVuA  密码：vtob  )
5.  hadoop2.
6.5安装包：(链接：pan.baidu/s/1aZ7k7kk3mW9C0PCP5SAFug  密码：wu98 )
搭建过程:
1.安装虚拟机导⼊系统
安装后重新引导，输⼊⽤户名，密码进⼊系统
编辑--虚拟⽹络编辑器--NAT模式--修改⼦⽹ip为192.168.100.0 ⼦⽹掩码为255.255.255.0
cd /    进⼊根⽬录
vi /etc/sysconfig/network-scripts/ifcfg-eth0        修改⽹络配置信息
按i进⼊可编辑模式，删除多余信息，修改信息为
esc退出编辑模式，输⼊:wq保存并退出
service network restart  重启服务
vi /etc/sysconfig/network  修改主机名
修改HOSTNAME=n1,esc退出编辑模式，输⼊:wq保存并退出
vi /f 配置dns
输⼊namesercer 114.114.114.114，保存退出
ping 192.168.100.2
ping www.baidu 测试外⽹是否可通
2.克隆另外两台虚拟机并配置
注意事项：克隆过程中要创建完整克隆
开启克隆机，登⼊系统
配置信息:
rm -rf /etc/udev/rules.d/70-persistent-net.rules    ⾸要操作
vi /etc/sysconfig/network-scripts/ifcfg-eth0    设置ip地址为192.168.100.11，第三台为192.168.100.12其余信息与第⼀台相同vi /etc/sysconfig/network                      修改主机名为n2；第三台设置为n3
vi/f                              配置dns
init 6                                          重启克隆机系统
注意事项:
必须先删除⽂件;⽆需重启服务，因为最终会重启系统
ping 192.168.100.2
ping www.baidu 测试外⽹是否可通
3.⽤Xshell5连接配置好的n1,n2,n3主机
打开Xshell5，创建三个会话框，分别输⼊以下三句话，连接三个不同主机
linux安装jdk rpm安装
ssh 192.168.100.10
ssh 192.168.100.11
ssh 192.168.100.12
在Xshell最下⾯会话框右边，左击勾选全部会话
4.准备⼯作
date -s "2012-05-1804:53:00"              为三台主机设置相同时间
service iptables stop
chkconfig iptables off                    关闭防⽕墙
yum install -y vim                        安装vim命令
5.主机映射
vi /etc/hosts
在最下⽅插⼊三台主机的ip地址和主机名，每台主机ip地址和主机名占⼀⾏，主机名和ip地址直接⽤空格隔开6.jdk部署
cd /home/                        切换到家⽬录
mkdir tools                      创建⽂件夹tools
mkdir bigdata                    创建⽂件夹bigdata
⽤xftp将jdk的rpm包上传到三台主机的/home/tools⽬录下
cd /home/tools/
rpm -ivh jdk-8u151-linux-x64.rpm            安装后jdk所在⽬录为/usr/java/
如果安装包为tar包可⽤
tar -zxvf jdk-8u151-linux-x64.rpm -C 指定路径        -C后跟路径，安装到指定路径上在三台主机上都安装了jdk后
vim ~/.bash_profile
或者
vim /root/.bash_profile                      进⼊修改环境变量
在最后⾯添加
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
保存退出后
source ~/.bash_profile      刷新配置信息
在三台主机上都配置环境变量，且配置后均要source⼀把
7.免秘钥
在第⼀台主机上输⼊以下命令,⽣成秘钥
ssh-keygen              ⼀直回车，直到结束
cd /root/.ssh/    查看
ssh-copy-id -i id_rsa.pub root@n1
ssh-copy-id -i id_rsa.pub root@n2
ssh-copy-id -i id_rsa.pub root@n3      拷贝到其他机器上
测试:ssh 主机名      如果均不需要密码说明成功
8.正式安装
上传hadoop的tar包到/home/bigdata/⽂件夹下
tar -zxvf hadoop-2.6. -C /home/bigdata/      解压
vim ~/.bash_profile                                  配置环境变量
export HADOOP_HOME=/home/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source ~/.bash_profile
三台主机均要安装和配置
输⼊hdfs测试
修改配置⽂件
cd /home/bigdatas/hadoop-2.6.5/etc/hadoop/    进⼊⽬录修改
1>配置Hadoop-env.sh
修改JAVA_HOME=/usr/java/default
2>配置l
<!--客户端访问hdfs的（其实就是namenode）⼊⼝-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://n1:9000</value>          <!--此处的n1是第⼀个的主机名-->
</property>
<!-- namenode的⼯作⽬录: fsimage edits两个磁盘⽂件的存放⽬录-->
<property>
<name&p.dir</name>
<value>/opt/hadoop2.6.5</value>
</property>
3>配置l
<!--每份数据的副本数-->
<property>
<name&plication</name>
<value>3</value>        <!--3是搭建的主机数-->
</property>
<!--secondaryname的http协议地址,  secondaryname主机端⼝（可以⾃定义）--> <property>
<name>dfs.namenode.secondary.http-address</name>
<value>n2:50090</value>          <!--此处的n2是第⼆个的主机名-->
</property>
<!--  secondaryname的https协议地址,-->
<property>
<name>dfs.namenode.secondary.https-address</name>
<value>n2:50091</value>          <!--此处的n2是第⼆个的主机名-->
</property>
创建masters
vi /home/hadoop-2.5.1/etc/hadoop/masters      在其中添加n2
配置slaves
vi /home/hadoop-2.5.2/etc/hadoop/slaves        添加n2 n3 n4
三台主机同步配置
9.
hdfs namenode -format
10.启动集
start-dfs.sh
最后输⼊jps测试，在浏览器中输⼊192.168.100.10:50070测试

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。