第2章
Hadoop环境设置
Hadoop的安装方式有三种模式：单机模式（Standalone Mode）、伪分布式模式（Pseudo- Distributed Mode）、完全分布式模式（Fully-Distributed Mode）。
三种模式的特点和区别如下。
单机模式（Standalone Mode）：单机模式是指Hadoop运行在一台主机上，按默认配置以非分布式模式运行一个独立的Java进程。单机模式的特点是：没有分布式文件系统，直接在本地操作系统的文件系统读/写；不需要加载任何Hadoop的守护进程。它一般用于本地MapReduce程序的调试。单机模式是Hadoop的默认模式。
伪分布式模式（Pseudo-Distributed Mode）：伪分布式模式是指Hadoop运行在一台主机上，使用多个Java进程，模仿完全分布式的各类节点。伪分布式模式具备完全分布式的所有功能，常用于调试程序。
完全分布式模式（Fully-Distributed Mode）：完全分布式模式也叫集模式，是将Hadoop运行在多台主机中，各个主机按照相关配置运行相应的Hadoop守护进程。完全分布式模式是真正的分布式环境，用于实际的生产环境。
本章将分别介绍安装前准备、Hadoop的三种模式的安装。
2.1  安装前准备
个人搭建Hadoop环境，需要准备一台计算机，建议配置如下。
●  64位Windows操作系统。
●  处理器：四核2GHz及以上。
●  系统内存：8GB或更高。
●  磁盘空间：100 GB的剩余空间。
●  良好的网络环境。
本书采用的软件安装包如下。
●  虚拟机版本：VMware® Workstation 14.1.2 build-8497320。
●  Ubuntu安装镜像文件：ubuntu-16.04.4-desktop-amd64.iso。
●  XShell 6.0 及XFtp 6.0。
●  JDK安装包：。
●  Hadoop安装包：hadoop-2.7.。
2.1.1  安装虚拟机
虚拟机是一种虚拟化技术，它能实现在现有的操作系统上多运行一个或多个操作系统。本书在Windows 64位操作系统上安装VMware公司的虚拟机软件VMware® Workstation Pro，并安装Ubuntu 16.04操作系统。安装虚拟机的步骤如下。
hadoop分布式集搭建（1）下载VMware安装包。到VMware® Workstation Pro，选择对应的版本进行下载。本书选择的版本是VMware® Workstation 14 Pro。
（2）安装VMware。双击安装文件，按提示操作至安装完成。
（3）新建虚拟机。打开VMware软件，单击主页的【创建新的虚拟机】按钮开始创建虚拟机，如图2-1所示。
图2-1  创建新的虚拟机
单击“自定义（高级）”选项，如图2-2所示，并单击【下一步】按钮。
选择“虚拟机硬件兼容性”，默认即可，直接单击【下一步】按钮，如图2-3所示。
 
图2-2  选择“自定义高级”    图2-3  选择“虚拟机硬件兼容性”
选择“稍后安装操作系统”，单击【下一步】按钮，如图2-4所示。
选择“客户机操作系统”，单击选中“Linux（L）”，如图2-5所示，再单击【下一步】按钮。
 
图2-4  选择“安装客户机操作系统”选项    图2-5  选择“客户机操作系统”
设置“虚拟机名称（例如：Ubuntu）”，并选择虚拟机的安装位置，最好选择一个有空余空间的磁盘分区来安装，如图2-6所示，再单击【下一步】按钮。
设置“处理器配置”，保持默认即可，并单击【下一步】按钮，如图2-7所示。
 
图2-6  设置“虚拟机名称”    图2-7  设置“处理器配置”
分配虚拟机内存（内存建议大于或等于1024MB），然后单击【下一步】按钮，如图2-8所示。
设置“网络类型”，单击“使用网络地址转换（NAT）”，并单击【下一步】按钮，如图2-9所示。
选择“I/O控制器类型”，使用默认选项“LSI Logic”，并单击【下一步】按钮，如图2-10所示。
选择“磁盘类型”，使用默认选项“SCSI”，并单击【下一步】按钮，如图2-11所示。
选择“磁盘”，选择“创建新虚拟磁盘”，并单击【下一步】按钮，如图2-12所示。
指定“磁盘容量”，建议为20GB或更大，并单击【下一步】按钮，如图2-13所示。
 
图2-8  设置“此虚拟机内存”    图2-9  设置“网络类型”
 
图2-10  选择“I/O控制器类型”    图2-11  选择“磁盘类型”
 
图2-12  选择“磁盘”    图2-13  指定“磁盘容量”
指定“磁盘文件”，保留默认的位置或单击【浏览】按钮选择其他位置，并单击【下一步】按钮，如图2-14所示。
单击【完成】按钮，完成虚拟机的安装，如图2-15所示。
 
图2-14  指定“磁盘文件”    图2-15  已准备好创建虚拟机
2.1.2  安装Ubuntu操作系统
Linux操作系统是一套自由传播的类UNIX操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。主流的Linux发行版本有：Ubuntu、CentOS、Red Hat、Suse等。本书选用Ubuntu 16.04 桌面版。
（1）下载Ubuntu ISO镜像文件。到Ubuntu选择对应的版本进行下载。本书选择的版本是ubuntu-16.04.4-desktop-amd64.iso。
（2）打开VMware Workstation Pro软件，单击左侧栏的虚拟机（如Ubuntu），再单击右侧的“编辑虚拟机设置”，如图2-16所示。
图2-16  编辑虚拟机设置
选择“CD/DVD(SATA)”，连接选择“使用ISO映像文件”，单击【浏览】按钮，选择下载的ISO镜像文件，单击【确定】按钮，如图2-17所示。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。