Hadoop三种运⾏模式(单机模式、伪分布式模式、全分布式
集模式)
Hadoop的三种运⾏模式(启动模式)
1.1、单机模式(独⽴模式)(Local或Standalone Mode)
-默认情况下,Hadoop即处于该模式,⽤于开发和调式。
-不对配置⽂件进⾏修改。
hadoop分布式集搭建 -使⽤本地⽂件系统,⽽不是分布式⽂件系统。
-Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程,Map()和Reduce()任务作为同⼀个进程的不同部分来执⾏的。
-⽤于对MapReduce程序的逻辑进⾏调试,确保程序的正确。
1.2、伪分布式模式(Pseudo-Distrubuted Mode)
-Hadoop的守护进程运⾏在本机机器,模拟⼀个⼩规模的集
-在⼀台主机模拟多主机。
-Hadoop启动NameNode、DataNode、JobTracker、TaskTracker这些守护进程都在同⼀台机器上运⾏,是相互独⽴的Java进程。 -在这种模式下,Hadoop使⽤的是分布式⽂件系统,各个作业也是由JobTraker服务,来管理的独⽴进程。在单机模式之上增加了代码调试功能,允许检查内存使⽤情况,HDFS输⼊输出,
以及其他的守护进程交互。类似于完全分布式模式,因此,这种模式常⽤来开发测试Hadoop程序的执⾏是否正确。
-修改3个配置⽂件:l(Hadoop集的特性,作⽤于全部进程及客户端)、l(配置HDFS集的⼯作属性)、l(配置MapReduce集的属性)
-格式化⽂件系统
1.3、全分布式集模式(Full-Distributed Mode)
-Hadoop的守护进程运⾏在⼀个集上
-Hadoop的守护进程运⾏在由多台主机搭建的集上,是真正的⽣产环境。
-在所有的主机上安装JDK和Hadoop,组成相互连通的⽹络。
-在主机间设置SSH免密码登录,把各从节点⽣成的公钥添加到主节点的信任列表。
-修改3个配置⽂件:l、l、l,指定NameNode和JobTraker的位置和端⼝,设置⽂件的副本等参数
-格式化⽂件系统
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论