ubuntu 下 安装配置 hadoop 1.0.4
第一次搞hadoop，折腾我2天，功夫不负有心人，终于搞好了，现在来分享下，
我的环境
    操作系统：wmv虚拟机中的ubuntu12.04
    hadoop版本：hadoop-1.0.4(听说是稳定版就下了)
    eclipse版本：eclipse-jee-indigo-SR2-win32
1.先安装好jdk，然后配置好jdk的环境变量，在这里我就不累赘了！网上多的是
2.安装ssh这个也不用说了
2.把hadoop-1.0.拖到虚拟机中，解压,比如: /home/wys/Documents/hadoop-1.0.4/ (有的还单独建了个用户,为了舍去不必要的麻烦我都是用root用户来操作的)
3.修改hadoop-1.0.4/conf 下面的l文件，如下：
<configuration>
    <property>
      <name>fs.default.name</name>
      <value>hdfs://192.168.116.128:9000</value>
    </property>
    <property>
      <name&p.dir</name>
      <value>/home/wys/Documents/tmp</value>
    </property>
cp2y走势网首页</configuration>
192.168.116.128这个是虚拟机中ubuntu的ip,听说用localhost，127.0.0.1都不行，我没试过，直接写上ip地址了
tmp是预先创建的一个目录
4.修改hadoop-env.sh
把 export JAVA_HOME=xxxxxx 这行的#号去掉，写上jdk的目录路径
5.修改l如下：
<configuration>
  <property>
        <name&plication</name>
        <value>1</value>
  </property>
  <property>
  <name>dfs.permissions</name>
  <value>false</value>
  </property>
</configuration>
说明：为了以后用eclipse开发出现各种问题，就把权限关了！
6.修改l
<configuration>
    <property>
素数c语言程序编写思路
        <name>acker</name>
        <value>192.168.116.128:9001</value>
    </property>
</configuration>
这里我也用了本机ip
7.启动hadoop
为了方便启动，我就把hadoop配置到了环境变量(配置完记得重启)：
export HADOOP_HOME=/home/wys/Documents/hadoop-1.0.4
export JAVA_HOME=/home/wys/Documents/jdk1.6.0_24
免费在线翻译器export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$HADOOP_HOME/bin
把这个复制到/etc/profile 文件中HADOOP_HOME JAVA_HOME根据实际情况而定！
重启之后格式化分布式文件系统：
hadoop namenode -format
接着启动hadoop：
start-all.sh
成功后会看到一下信息：
starting namenode, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/h                adoop-root-namenode-ubuntu.out
localhost: starting datanode, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/hadoop-root-datanode-ubuntu.out
localhost: starting secondarynamenode, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/hadoop-root-secondarynamenode-ubuntu.out
starting jobtracker, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/hadoop-root-jobtracker-ubuntu.out
localhost: starting tasktracker, logging to /home/wys/Documents/hadoop-1.0.4/libexec/../logs/hadoop-root-tasktracker-ubuntu.out
现在就可以在浏览器中输入地址：
192.168.116.128:50030
192.168.116.128:50070边框花纹 古典
均可以查看到一些信息
假如这个192.168.116.128:50070地址无法访问 是因为 p.dir 这个没指定文件夹
至此hadoop已安装配置完成！
Eclipse 连接hadoop开发程序入门
前面一遍博文介绍了如何安装配置hadoop
地址：blog.csdn/wqs1010/article/details/8486040
这里就来介绍一下用eclipse如何连接hadoop开发
由于我用的是虚拟机中的系统来做测试，多少有点不正确，还请谅解！
1.首先 要下载eclipse hadoop插件我用的是hadoop 1.0.4的版本,这里有个已经做好了的版本
下载地址：hadoop-eclipse-plugin-1.0.4.jar
下载下来直接把jar文件放到eclipse/plugins/文件夹中,然后重启eclipse
2.之后会到看到 如下图：然后设置下右边的hadoop根目录
没有的话说明插件没安装成功！
3.切换到Map/Reduce视图：
下面有个黄的大象：
4.右击新建一个hadoop地址
把红框的都填下：
Location name : 这个随便写个
Map/Reduce host port: 这2个是要根据l这个来定的
DFS Master port： 这个是对应你l这个文件中fs.default.name这个属性的值
右边的Advanced parameters就不用改了！
完成后再看工程视图：
一步一步展开DFS Locations
当出现ConnectException异常时，只要检查下你写的地址跟端口是否跟hadoop配置文件中一样即可！
5.连接成功之后类似这个样子：
painstakingly是什么意思
6.新建一个MapReduce Project
把\hadoop-1.0.4\src\examples\org\apache\hadoop\examples\WordCount.java复制到你的工程
7.在eclipse里，创建远程目录命名为 wordCount，建完之后刷新就可以看到了
8.然后从本地上传一个文件
内容：
java c++ python c
java c++ javascript 
helloworld hadoop
mapreduce java hadoop hbase 
当出现org.apache.hadoop.hdfs.server.namenode.SafeModeException: 异常，这时就要把
hadoop安全模式关闭, 命令：hadoop dfsadmin –safemode leave
9.上传之后run as WordCount.java 记得带上参数,用空格隔开
这个时候会出现Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-wys\mapred\staging\wys1479426331\.staging to 0700 异常，是因为没有权限，网上说替换hadoop-core-xx.jar包中的org.apache.hadoop.fs.FileUtil.class文件，除此之外我还没到其他的方法了！
文件地址：FileUtil
10.替换之后刷新工程，再次执行WordCount.java文件
python入门教程非常详细word
当控制台打印下面这些说明已经执行成功！
再看DFS Locations
下面会多出来一个文件夹和2个文件，
打开part-r-00000文件这个就是你想要的：
恭喜你，此时大功告成！

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。