配置Hadoop伪分布式模式并运⾏WordCount⽰例操作实例演
⽰步骤
该篇博客是基于成功的前提下,进⾏直接操作的,关于可以参考为上⼀篇博⽂:
PS:全程以root的⾓⾊进⾏配置安装
第⼀部分:伪分布式配置
伪分布模式主要涉及⼀下配置信息:
(1)修改hadoop的核⼼配置⽂件l,主要配置hdfs的地址和端⼝号。
(2)修改hadoop中hdfs的配置⽂件l,只要配置replication(复制或备份)。
(3)修改hadoop中MapReduce的配置⽂件l,主要配置JobTracker的地址和端⼝。
具体的操作步骤如下:
step_1:创建⼏个配置⽂件需要的⽬录,执⾏截图如下:
hadoop分布式集搭建Step_2:配置l⽂件
进⼊到相关⽬录下,打开l⽂件,操作截图如下:
在⽂件中添加配置信息,添加后的内容同如下截图所⽰:
配置信息包括,hdfs默认端⼝号地址,临时⽂件存放⽬录信息!Step_3:配置l⽂件
进⼊到相关⽬录下,打开l⽂件,操作截图如下:
在⽂件中添加配置信息,添加后的内容同如下截图所⽰:
设置hdfs的节点个数和信息,包括hdfs的节点路径、数据路径!Step_4:配置l⽂件
进⼊到相关⽬录,打开mapred-site⽂件,操作截图如下:
在打开的⽂件中添加相关配置信息,截图如下:
设置jobtracker的地址和端⼝号!
通过对上⾯三个⽂件的配置,最简单的伪分布式配置完成了!
第⼆部分:验证伪分布式开发环境是否搭建成功
通过第⼀部分对⽂件的修改,配置好了最简单的伪分布式,但不知道是否成功,第⼆部分,通过运⾏wordcount实例,⽤来测试是否配置成功!
Step_1:对hadoop的namenode格式化:
输⼊Y,完成格式化过程:
Step_2:启动hadoop并查询服务是否启动
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论