Hadoop⼤数据环境搭建保姆级教程(完整版)
⽂章⽬录
前⾔:了全⽹关于mac配置Hadoop⼤数据框架,很多都不不全⾯,有的还没有效果,对于新⼿⼩⽩来说极其不友好,因此特地花费了⼏天时间整理Hadoop环境搭建教程,保证⼀看就会,⼲货内容很多,请耐⼼学习!
1、准备⼯作
请安装以下⼏个软件
VMware
Centos 7
安装链接:
2、静态IP地址配置
想为虚拟机配置固定ip,需要设置⽹关,但是mac版的vmware workstation没有Virtual Network Editor,所
以不能直接查看到,需要在终端执⾏如下命令( 不要漏掉VMware后的\ )
cd /Library/Preferences/VMware\ Fusion/vmnet8
然后输⼊ls,你会看到⼏个⽂件
接着使⽤vim操作打开f⽂件就可以查看到vmnet8的⽹关地址,输⼊命令为:
f
结果如下图所⽰:
然后就到vmnet8的的⽹关地址
ip=172.16.55.2
netmask =255.255.255.0
然后使⽤ 管理者权限登陆虚拟机,并且通过vim操作进⼊⽂件,操作命令为:
vi /etc/sysconfig/network-scripts/ifcfg-ens33
会出现如下结果
下⾯我们需要修改⼏个配置参数,从⽽达到使⽤静态IP地址的⽬的,具体如下图:
其中,
将BOOTPROTO=“dhcp” 改为BOOTPROTO="static"
将ONBOOT=“no” 改为ONBOOT="yes"
定义IPADDR的值:IPADDR的选取是不唯⼀的,需要在⼀定范围内选取,在终端输⼊:
f
出现如下结果:
也就是说,你设置的静态IP地址必须在如图⽅框的范围内才有效,我这⾥选取的IPADDR=172.16.155.130,当然也可以是其他的数值(按:q退出vim)
GATEWAY和NETMASK设置就是咱们之前获取的vmnet8的的⽹关地址中的ip和netmask,
GATEWAY =172.16.55.2
NETMASK =255.255.255.0
获取DNS,则是在mac电脑中的系统偏好设置–>⽹络–>⾼级–>DNS
注意:这⾥的DNS配置不是唯⼀的,你可以配置多个DNS,建议在配置⼀个百度的公共DNS,以便更换了的⽆线⽹络也可以响应。
DNS2=180.76.76.76
OK,⾛到这⾥咱们就把静态IP地址给设置好了,然后咱们来检验⼀下,是否配置成功
在虚拟机上输⼊[ 必须要restart⼀下,才有效果]
service network restart
然后输⼊
ping www.baidulinux安装jdk教程
看看是否出现下⾯这个画⾯
如果出现这个响应,说明已经静态IP地址配置成功(按command+c停⽌响应)
3、关闭防⽕墙
关闭防⽕墙的⽬的是为了使得服务器与服务器之间可以互通,否则就⽆法进⾏通信了
操作命令:
systemctl status firewalld #检查防⽕墙状态
systemctl stop firewalld # 关闭防⽕墙
systemctl disable firewalld.service
出现removed…信息就代表关闭防⽕墙了,当然也可以再通过systemctl status firewalld命令,如果看到active状态变为inactive(dead)就表⽰已经关闭了
4、修改主机名称
在虚拟机上配置主机名,可以看到默认名称为 localhost lib,这⾥只需要输⼊命令:hostnamectl set-hostname hadoop100
其中**“hadoop100”**是我⾃⼰取的名称,你们可以⾃⼰随意取名
然后使⽤ “reboot”命令重启虚拟机,使得修改命令⽣效
可以看到我这⾥的主机名已经修改成功了,然后再次登陆管理员账号( “reboot”)即可
5、编辑hosts⽂件
在虚拟机上输⼊命令:vi /etc/hosts
会看到
然后同样⽤vi操作( 输⼊“i”,进⼊编辑模式,然后插⼊IP地址和对应的名称,按esc退出,最后输⼊“:wq”保存结果即可),参考⼀下我的命名格式:
我这⾥暂时新建了5个虚拟机IP地址,如果想新建更多的虚拟机,⽅法是⼀样的;然后,每⼀个IP地址只要不同就可以了,其中第⼀个IP是我们⼀开始已经确定好的,就不要修改了,剩下的IP建议 按顺序依次往下添加,⾄于右边的名称可以⾃⼰修改。
6、虚拟机克隆
为了使上⾯的步骤有效起来,这⾥我们需要克隆3台虚拟机,我分别命名为hadoop101、hadoop102、hadoop103。
注意: 克隆虚拟机⼀定要将虚拟机关闭
关闭虚拟机的命令【⼿动关闭也可以】
init 0
然后直接在虚拟机资源库中对主机hadoop100, 右击,点击“创建完整克隆”,再重新命名⼀下即可,如图所⽰
注:我这⾥已经提前创建好克隆机hadoop101、hadoop102、hadoop103了,因此会出现4台服务器,正常按我的操作的话,这⼀步只能看到hadoop101。
由于克隆机与主机是完全⼀样的,因此需要修改3个参数:ip地址、uuid和hostname,
依然是先root登陆,输⼊密码,然后输⼊
vi /etc/sysconfig/network-scripts/ifcfg-ens33
只需要修改图中圈中的部分即可
(1)IP地址修改
直接和咱们之前hosts⽂件中设置的⼀样即可,因为我这⾥是hadoop102,所以需要将IPADDR修改为 IPADDR=172.16.55.132
(2)uuid修改
需要先推出vi编辑器,然后在虚拟机输⼊命令uuidgen就会产⽣新的uuid,如图所⽰
然后按照这个新⽣成的uuid,修改原来ifcfg-ens33⽂件下的uuid即可,最终的修改结果如图所⽰
(3)修改hostname
具体过程和之前讲解的⼀样,输⼊hostnamectl set-hostname hadoop102
最后记得reboot⼀下即可,然后重新登陆就会发现hostname变成了hadoop102了
远程连接虚拟机(远程服务器)
由于mac电脑⾃带ssh命令,因此就不需要在下载Xshell软件了,还是省了⼀些事情的。
下⾯演⽰⼀下如何在本地终端连接虚拟机,结果如图。
如果出现这个界⾯就代表我们已经实现远程操作虚拟机了,这样的话咱们就摆脱在VMware上操作虚拟机,还是很⽅便的。
注意,第⼀次输⼊这样的命令可能不是这个界⾯,会多⼀步让你输⼊“yes/no”的步骤,咱们输⼊“yes”即可。然后这⾥的IP地址就是咱们之前/etc/hosts⽂件的添加的IP地址,需要保持⼀致。
7、SSH免密登陆

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。