使用Cloudera Manager安装Hadoop

l  虚拟机操作系统：CentOs6.7 64bit，单核，2G内存
l  JDK：1.6.0_45 64 bit
l  Hadoop：2.2.0 



集网络环境集包含三个节点：1个namenode，1个datanode，节点之间局域网连接，可以相互ping通。节点IP地址和主机名分布如下：
l  192.168.188.141  hadoo1 (namenode))
l  192.168.188.139  hadoo2 (datanode01)
l  192.168.188.140  hadoo3 (datanode03)
所有节点均是CentOS系统，防火墙iptables均禁用

环境搭建
本集分为三个节点，先安装节点hadoop1（192.168.188.141），完成2.1~2.6步骤后，在步骤2.7中复制虚拟机并命名为hadoop2（192.168.188.139）和hadoop3（192.168.188.140）。


设置IP1.    点击System-->Preferences-->Network Connections，如下图所示：

 



2.    删除原来的连接信息，新建一个“”连接，设置该连接为手工方式，设置如下信息：
      IP地址： 10.88.147.221
      子网掩码： 255.255.255.0
      网关：     10.88.147.1
      DNS：    10.*.*.* (使用DNS上网需要设置)
 

3.    在命令行中查看设置的IP地址信息，如果不能够正确可以在执行2.5重启机器后再次确认：



设置Host文件1.    编辑/etc/hosts文件，设置IP地址与机器名的映射，设置信息如下：
l     10.88.147.141 hadoop1.localdomain
l    10.88.147.139 hadoop2.localdomain
l    10.88.147.140 hadoop2.localdomain


2.    使用如下命令对网络设置进行重启
python虚拟机sudo /etc/init.d/network restart
3.    验证设置是否成功

关闭防火墙
在Hadoop安装过程中需要关闭防火墙和SElinux，否则会异常
1.    service iptables status 查看防火墙状态，如下所示表示iptables已经开启


2.    使用如下命令关闭iptables，执行该命令后重启机器生效
Centos 6 ：chkconfig iptables off
CentOS 7.0默认使用的是firewall作为防火墙，这里改为iptables防火墙。
firewall：
systemctl start firewalld.service#启动firewall
systemctl stop firewalld.service#停止firewall
systemctl disable firewalld.service#禁止firewall开机启动
关闭SElinux1.    使用getenforce命令查看是否关闭

2.    修改/etc/selinux/config 文件


设置机器名以root用户登录，使用 vi/etc/sysconfig/network 打开配置文件，修改主机名称为hadoop1


复制虚拟机关闭机器，复制当前节点两份，分别命名为：hadoop2和hadoop3
SSH无密码验证配置(这一步可省略)
#ssh-keygen -t rsa
#cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#scp ~/.ssh/* root@datanode246:~/.ssh/
#scp ~/.ssh/* root@datanode247:~/.ssh/
[root@localhost .ssh]# cp id_rsa.pub authrized.keys
[root@localhost .ssh]# chmod 600 authrized.keys      ##这一步是必须的，否则连接不上

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。