hadoop--MapReduce_WordCount词频统计案例⽬录
WordCount案例
需求
: 统计⼀堆⽂件中单词出现的个数。
1.输⼊数据
hello hello
hi hi
haha
map
reduce
2.期望输出数据
hello 2
hi 2
haha 1
map 1
reduce 1
需求分析：按照MapReduce编程规范，分别编写Mapper、Reducer、Driver。
3.Mapper
1). 将MapTask传给我们的⽂本内容转换成String：
hello hello
2). 根据空格将这⼀⾏切分成单词：
hello
hello
3). 将单词输出为<；单词，1>
hello, 1
hello, 1
4.Reducer
1). 汇总各个key的个数
hello, 1
hello, 1
2). 输出该key的总次数
hello, 2
5.Driver
1). 获取配置信息，获取job对象实例；
2). 制定本程序的jar包所在的本地路径；
3). 关联Mapper/Reducer业务类；
4). 指定Mapper输出数据的KV类型；
5). 指定最终输出的数据的KV类型；
6). 指定job的输⼊原始⽂件所在⽬录；
7). 指定job的输出结果所在⽬录；
8).提交作业。
环境准备
1.创建maven⼯程，MapReduceDemo；
2.在l⽂件中添加如下依赖：
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.2.2</version>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
</dependency>
<!-- mvnrepository/artifact/org.slf4j/slf4j-log4j12 -->
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>1.7.30</version>
</dependency>
</dependencies>
3.在项⽬的src/main/resources⽬录下，新建⼀个⽂件，命名为“log4j.properties“，在⽂件中填⼊：
log4j.appender.stdout=ConsoleAppender
log4j.appender.stdout.layout=PatternLayout
ConversionPattern=%d %p [%c]-%m%n
log4j.appender.logfile=FileAppender
File=target/spring.log
log4j.appender.logfile.layout=PatternLayout
ConversionPattern=%d %p [%c]-%m%n
4.创建包名：com.xiaobai.mapreduce.wordcount；
分别编写Mapper、Reducer、Driver类。
本地测试
源码Driver部分：
//6.设置输⼊路径和输出路径
FileInputFormat.setInputPaths(job,new Path("/Users/jane/Desktop/test/"));
FileOutputFormat.setOutputPath(job,new Path("/Users/jane/Desktop/hadoop/output"));
在“/Users/jane/Desktop/test/”⽬录下新建⼀份l，内容如下：
输出结果：
提交到集测试
集测试
1.⽤maven打jar包，在l⽂件中添加如下依赖：
<build>
<plugins>
<plugin>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.6.1</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
</configuration>
</plugin>
<plugin>
<artifactId>maven-assembly-plugin</artifactId>
<configuration>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
</configuration>
<executions>
<execution>
<id>make-assembly</id>
<phase>package</phase>
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
2.打包maven jar包。
(ps.我太难了，这张图是拼接的，截了好⼏次图，⼀直缺东缺西的，不太完美 = = )
3.使⽤命令启动集：
maven打包本地jar包[xiaobai@hadoop102 ~]$ myhadoop.sh start
4.使⽤命令查看进程，确保集已经正常启动：
[xiaobai@hadoop102 ~]$ jpsall
5.将jar包复制⼀份到桌⾯并命名为wc.jar，上传打包好的jar包到/opt/module/hadoop3.2.2：

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。