实验报告封面
课程名称：   Hadoop大数据处理      课程代码： JY1124 
任课老师：    陈宁穗      实验指导老师:    陈宁穗             
实验报告名称：实验7 hadoop下eclipse工具使用                                                   
    学生姓名：                   
          学号：                   
        教学班：                     
      递交日期：                     
签收人：                   
我申明，本报告内的实验已按要求完成，报告完全是由我个人完成，并没有抄袭行为。我已经保留了这份实验报告的副本。
                                                                 
                                                                    申明人(签名):
实验报告评语与评分：
评阅老师签名：
一、实验名称： hadoop下eclipse工具使用
二、实验日期：2015年  月  日
三、实验目的：
熟悉hadoop下eclipse工具使用。
四、实验用的仪器和材料：
硬件：PC电脑一台；
配置：内存，4G及以上  硬盘250G及以上
软件环境：操作系统 XP，vmware，ubuntu，jdk，hadoop
五、实验的步骤和方法：
请用命令完成以下操作
1、 先启动Hadoop守护进程，进入hadoop安装目录，执行bin/start-all.sh
2、 Ubuntu中下载安装Eclipse，执行sudo apt-get install eclipse
3、 在Eclipse下安装hadoop-eclipse-plugin（插件jar包已提供）。复制此插件jar包到 eclipse安装目录/plugins/ 下。可通过whereis eclipse查看eclipse安装目录。
 
4、 重启eclipse，配置hadoop installation directory。如果安装插件成功，打开Window-->Preferences，你会发现Hadoop Map/Reduce选项，在这个选项里你需要配置Hadoop installation directory（hadoop安装目录）。配置完成后退出。 
5、 配置Map/Reduce Locations。 
在Window-->Show View中打开Map/Reduce Locations。 
   
在Map/Reduce Locations中新建一个Hadoop Location。在这个View中，右键-->New Hadoop Location。在弹出的对话框中你需要配置Location name，如myubuntu，还有Map/Reduce Master和DFS Master。这里面的Host、Port分别为你在l、l中配置的地址及端口。如： 
 
配置完后退出。点击DFS Locations-->myubuntu如果能显示文件夹(2)说明配置正确，如果显示"拒绝连接"，请检查你的配置。 
 
在此可直接创建目录，刷新即可，也可删除目录，也可上传文件。若有问题则考虑hdfs权限（开放hdfs权限 hadoop fs –chmod 777 /user/yln，也可以取消hadoop hdfs的用户权限检查。打开conf/hdfs-site.xml，到dfs.permissions属性修改为false（默认为true）。）
6、新建项目。 
File-->New--> Project -->Map/Reduce Project 
项目名可以随便取，如maptest。选中maptest项目下的src，右键新建一个class类，名称定义为example，代码见example.java。
7、上传模拟数据文件夹。为了运行程序，需要一个输入的文件夹，和输出的文件夹。输出文件夹，在程序运行完成后会自动生成。
将文件testnew上传到分布式文件系统中。 
8、运行项目。
（1）.在新建的项目maptest，点击example.java，右键-->Run As-->Run Configurations 
（2）.在弹出的Run Configurations对话框中，点Java Application，右键-->New，这时会新建一个application名为example
（3）.配置运行参数，点Arguments，在Program arguments中输入“要传给程序的输入文件和要求程序将计算结果保存的文件夹”，如： 
（4）.点击Runhadoop安装与使用实验报告，运行程序。点击Run，运行程序，过段时间将运行完成，等运行结束后，可以在终端中用命令验证是否成功。
 
六、数据记录和计算：写语句及截图
七、实验结果或结论：即根据实验过程中所见到的现象和测得的数据，作出结论。
八、备注或说明：可写上实验成功或失败的原因，实验后的心得体会、建议等。
九、引用参考文献：
1. 陆嘉恒 Hadoop实战．机械工业出版社

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。