linuxxshelljdkhadoop(环境搭建)虚拟机安装(⼤数据搭建环境)
【hadoop是2.6.5版本xshell是6版本jdk是1.8.0.131 虚拟机是CentOS-6.9-x86_64-bin-DVD1.iso vmware10】
1.创建虚拟机
第⼀步:在VMware中创建⼀台新的虚拟机。如图2.2所⽰。
图2.2
第⼆步:选择“⾃定义安装”,然后单击“下⼀步”按钮,如图2.3所⽰。
图2.3
第三步:单击“下⼀步” 按钮,如图2.4所⽰。
图2.4
第四步:选择“稍后安装操作系统”,然后单击“下⼀步” 按钮,如图2.5所⽰。
图2.5
第五步:客户机操作系统选择Linux,版本选择“CentOS 64位”,然后单击“下⼀步” 按钮,如图2.6所⽰。
图2.6
第六步:在这⾥可以选择“修改虚拟机名称”和“虚拟机存储的物理地址”,如图2.7所⽰。
图2.7
第七步:根据本机电脑情况给Linux虚拟机分配“处理器个数”和每个处理器的“核⼼数量”。注意不能超过⾃⼰电脑的核数,推荐处理数量为1,每个处理器的核⼼数量为1,如图2.8所⽰。
图2.8
第⼋步:给Linux虚拟机分配内存。分配的内存⼤⼩不能超过⾃⼰本机的内存⼤⼩,多台运⾏的虚拟机的内存总合不能超过⾃⼰本机的内存⼤⼩,如图2.9所⽰。
图2.9
第九步:使⽤NAT⽅式为客户机操作系统提供主机IP地址访问主机拨号或外部以太⽹⽹络连接,如图2.10所⽰。
图2.10
第⼗步:选择“SCSI控制器为LSI Logic(L)”,然后单击“下⼀步” 按钮,如图2.11所⽰。
图2.11
第⼗⼀步:选择“虚拟磁盘类型为SCSI(S)”,然后单击“下⼀步” 按钮,如图2.12所⽰。
图2.12
第⼗⼆步:选择“创建新虚拟磁盘”,然后单击“下⼀步” 按钮,如图2.13所⽰。
图2.13
第⼗三步:根据本机的磁盘⼤⼩给Linux虚拟机分配磁盘,并选择“将虚拟机磁盘拆分为多个⽂件”,然后单击“下⼀步”按钮,如图2.14所⽰。
图2.14
第⼗四步:根据需要修改存储磁盘⽂件的位置。如果不更改,默认存储在Linux虚拟机安装⽂件⽬录,如图2.15所⽰。
图2.15
第⼗五步:单击“完成”按钮,完成新虚拟机向导,如图2.16所⽰。
图2.16
第⼗六步:在虚拟机名字上单击⿏标右键,选择“设置”来设置安装的ISO⽂件。选择“CD/DVD à 使⽤ISO镜像⽂件”,选择⾃⼰的镜像⽂件,然后单击“确定”按钮,如图2.17所⽰。
图2.17
第⼗七步:开启设置好的虚拟机,进⾏Linux虚拟机安装,如图2.18所⽰。
图2.18
第⼗⼋步:选择“不再显⽰此消息”,然后单击“取消” 按钮。
第⼗九步:进⼊到VMware虚拟机选择“Instell or upgrade an existing system”单击“回车” 键进⾏安装。或者不作任何操作,它将倒计时90秒后⾃动安装。进⼊到VMware后可以⽤“Ctrl+Alt”组合键退出VMware,如图2.19所⽰。
图2.19
第⼆⼗步:进⼊到安装前测试页⾯,通过⽅向键选择“Skip”按钮跳过测试,如图2.20所⽰。
图2.20
第⼆⼗⼀步:⽤⿏标单击“Next” 按钮进⾏下⼀步操作,如图2.21所⽰。
图2.21
第⼆⼗⼆步:⽤⿏标选择“中⽂简体”,然后单击“下⼀步”按钮,如图2.22所⽰。
图2.22
第⼆⼗三步:键盘选择“美国英语式”,然后单击“下⼀步” 按钮,如图2.23所⽰。
图2.23
第⼆⼗四步:选择“基本存储设备”,然后单击“下⼀步” 按钮,如图2.24所⽰。
图2.24
第⼆⼗五步:单击“忽略所有数据” 按钮,如图2.25所⽰。
图2.25
第⼆⼗六步:设置Linux虚拟机的“主本名”,然后单击“下⼀步” 按钮,如图2.26所⽰。
图2.26
第⼆⼗七步:设置时间区域,勾选系统使⽤UTC时间,然后单击“下⼀步”按钮,如图2.27所⽰。图2.27
第⼆⼗⼋步:设置管理员⽤户root的密码,如图2.28所⽰。(统⼀使⽤123456)
图2.28
第⼆⼗九步:选择“使⽤所有空间”,然后单击“下⼀步”按钮,如图2.29所⽰。
图2.29
第三⼗步:单击“将修改写⼊磁盘”按钮,如图2.30所⽰。
图2.30
第三⼗⼀步:选择Minimal,然后单击“下⼀步” 按钮。这⾥安装的是纯命令⾏版,也可以安装桌⾯版,可以选择Desktop或者Minimal Desktop,如图2.31所⽰。
图2.31
第三⼗⼆步:进⾏安装界⾯,这⾥⼀共需要安装332个软件包,如图2.32所⽰。
图2.32
第三⼗三步:单击“重新引导” 按钮,完成安装,如图2.33所⽰。
图2.33
第三⼗四步:测试安装是否成功。输⼊⽤户root和⽤户密码,如果能进⼊到如下界⾯,说明安装成功,如图2.34所⽰。
图2.34
[root@localhost ~]#
root:是登录到Linux系统的⽤户名。
localhost:是Linux系统的主机名。
~:是root⽤户所在的位置。“~”是表⽰root的家⽬录,root家⽬录实际路径是/home/root。
2.linux虚拟机安装JDK和Hadoop下载好的mysql文件无法双击下载
为在⽣产环境中hadoop⼤数据集是由多台服务器组成的集,为了⽅便学习这⾥采⽤在VMware平台中搭建虚拟机的⽅式模拟hadoop⼤数据集。若要想实现hadoop⼤数据集环境,⾄少需要4台虚拟机,其中1台Master节点,3台Slave节点,每台节点配置环境。为了实现hadoop集须有⼀台Master节点和多台Slave节点(其中IP地址第三段“153”需要跟⾃⼰的VMware⼯具平台⽹段⼀致,可以通过在VMware⼯作平台中单击“编辑-->虚拟⽹络编辑器-->VMware8-->⼦⽹”来查看)。
具体配置如表5.1所⽰。
表5.1 集节点信息
主机名IP地址
Master001192.168.153.200
Slave001192.168.153.201
Slave002192.168.153.202
Slave003192.168.153.203
1. 基础信息配置。
⾸先在⼀台虚拟机中设置基础信息,假设这台虚拟机为Master001。在基础信息中需要设置主机名、IP地址和名称解析等配置,这些配置⽂件只有root⽤户才有改写权限,所以需要使⽤root⽤户登录来编写这些配置⽂件。
通过编辑network⽂件,将HOSTNAME值修改为新的主机名,具体操作如下。
[root@localhost ~]# vi /etc/sysconfig/network
改写:
HOSTNAME=Master001
通过编辑ifcfg-eth0⽂件来设置IP地址,具体操作如下。
[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0
改写:
ONBOOT=yes
BOOTPROTO=static
插⼊:
IPADDR=192.168.153.200
NETMASK=255.255.255.0
GATEWAY=192.168.153.2
DNS1=192.168.153.2
hosts⽂件是Linux系统中负责IP地址与域名快速解析的⽂件,需要配置其它的⼏个节点的主机名和IP来快速访问集中的其它节点。
具体操作如下:
[root@localhost ~]# vi  /etc/hosts
插⼊:
192.168.153.200 Master001
192.168.153.201 Slave001
192.168.153.202 Slave002
192.168.153.203 Slave003
只是修改IP地址可以重启⽹络服务即可以⽣效,操作如下:
[root@localhost ~]# service network restart
如果修改了主机名,必须重启虚拟机才能⽣效,操作如下:
[root@localhost ~]# reboot

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。