最详细的Hadoop⼊门教程
终极算法
关注号每天收听我们的消息
终极算法为您推送精品阅读
前⾔
Hadoop 在⼤数据技术体系中的地位⾄关重要，Hadoop 是⼤数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在⼤数据技术道路上⾛多远。
这是⼀篇⼊门⽂章，Hadoop 的学习⽅法很多，⽹上也有很多学习路线图。本⽂的思路是：以安装部署 Apache Hadoop2.x 版本为主线，来介绍 Hadoop2.x 的架构组成、各模块协同⼯作原理、技术细节。安装不是⽬的，通过安装认识Hadoop才是⽬的。
本⽂分为五个部分、⼗三节、四⼗九步。
第⼀部分：Linux环境安装
hadoop分布式集搭建Hadoop是运⾏在Linux，虽然借助⼯具也可以运⾏在Windows上，但是建议还是运⾏在Linux系统上，第⼀部分介绍Linux环境的安装、配置、Java JDK安装等。
第⼆部分：H a do o p本地模式安装
Hadoop 本地模式只是⽤于本地开发调试，或者快速安装体验 Hadoop，这部分做简单的介绍。
第三部分：H a do o p伪分布式模式安装
学习 Hadoop ⼀般是在伪分布式模式下进⾏。这种模式是在⼀台机器上各个进程上运⾏ Hadoop 的各个模块，伪分布式的意思是虽然各个模块是在各个进程上分开运⾏的，但是只是运⾏在⼀个操作系统上的，并不是真正的分布式。
第四部分：完全分布式安装
完全分布式模式才是⽣产环境采⽤的模式，Hadoop 运⾏在服务器集上，⽣产环境⼀般都会做HA，以实现⾼可⽤。
第五部分：H a do o p H A安装
HA是指⾼可⽤，为了解决Hadoop单点故障问题，⽣产环境⼀般都做HA部署。这部分介绍了如何配置Hadoop2.x的⾼可⽤，并简单介绍了HA的⼯作原理。安装过程中，会穿插简单介绍涉及到的知识。希望能对⼤家有所帮助。 
第⼀部分：Linux环境安装
第⼀步、配置 Vm w a r e N AT ⽹络
⼀、Vmware ⽹络模式介绍
⼆、NAT模式配置
NAT是⽹络地址转换，是在宿主机和虚拟机之间增加⼀个地址转换服务，负责外部和虚拟机之间的通讯转接和IP转换。
我们部署Hadoop集，这⾥选择NAT模式，各个虚拟机通过NAT使⽤宿主机的IP来访问外⽹。
我们的要求是集中的各个虚拟机有固定的IP、可以访问外⽹，所以进⾏如下设置：
1. Vmware 安装后，默认的 NAT 设置如下：
2. 默认的设置是启动DHCP服务的，NAT会⾃动给虚拟机分配IP，但是我们需要将各个机器的IP固定下来，所以要取消这个默认设置。
3. 为机器设置⼀个⼦⽹⽹段，默认是192.168.136⽹段，我们这⾥设置为100⽹段，将来各个虚拟机Ip就为 192.168.100.*。
4. 点击NAT设置按钮，打开对话框，可以修改⽹关地址和DNS地址。这⾥我们为NAT指定DNS地址。
5. ⽹关地址为当前⽹段⾥的.2地址，好像是固定的，我们不做修改，先记住⽹关地址就好了，后⾯会⽤到。第⼆步、安装Linux操作系统
三、Vmware 上安装 Linux系统
1. ⽂件菜单选择新建虚拟机
2. 选择经典类型安装，下⼀步。
3. 选择稍后安装操作系统，下⼀步。
4. 选择 Linux 系统，版本选择 CentOS 64 位。
5. 命名虚拟机，给虚拟机起个名字，将来显⽰在Vmware左侧。并选择Linux系统保存在宿主机的哪个⽬录下，应该⼀个虚拟机保存在⼀个⽬录下，不能多个虚拟机使⽤⼀个⽬录。
6. 指定磁盘容量，是指定分给Linux虚拟机多⼤的硬盘，默认20G就可以，下⼀步。
7. 点击⾃定义硬件，可以查看、修改虚拟机的硬件配置，这⾥我们不做修改。
8. 点击完成后，就创建了⼀个虚拟机，但是此时的虚拟机还是⼀个空壳，没有操作系统，接下来安装操作系统。
9. 点击编辑虚拟机设置，到DVD，指定操作系统ISO⽂件所在位置。
10. 点击开启此虚拟机，选择第⼀个回车开始安装操作系统。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。