Hadoop开发环境搭建（Win8+Linux）
常见的Hadoop开发环境架构有以下三种：
1、 Eclipse与Hadoop集在同一台Windows机器上。
2、 Eclipse与Hadoop集在同一台Linux机器上。
3、 Eclipse在Windows上，Hadoop集在远程Linux机器上。
点评：
第一种架构：必须安装cygwin，Hadoop对Windows的支持有限，在Windows上部署hadoop会出现相当多诡异的问题。
第二种架构：Hadoop机器运行在Linux上完全没有问题，但是有大部分的开发者不习惯在Linux上做开发。这种架构适合习惯使用Linux的开发者。
第三种架构：Hadoop集部署在Linux上，保证了稳定性，Eclipse在Windows上，符合大部分开发者的习惯。
本文主要介绍第三种Hadoop开发环境架构的搭建方法。
Hadoop开发环境的搭建分为两大块：Hadoop集搭建、Eclipse环境搭建。其中Hadoop集搭建可参考官方文档，本文主要讲解Eclipse环境搭建（如何在Eclipse中查看和操作HDFS、如何在Eclipse中执行MapReduce作业）。
搭建步骤：
1、 搭建Hadoop集（Linux、JDK6、Hadoop-1.1.2）
2、 在Windows上安装JDK6+
3、 在Windows上安装Eclipse3.3+
4、 在Eclipse上安装hadoop-eclipse-plugin-1.1.2.jar插件（如果没有，则需自行编译源码）
5、 在Eclipse上配置Map/Reduce Location
搭建Hadoop集
此步骤可参考Hadoop官方文档
在Windows上安装JDK
此步骤可参考官方文档
在Window上安装Eclipse
此步骤可参考官方文档
在Eclipse上安装hadoop-eclipse-plugin-1.1.2.jar插件
Hadoop-1.1.2的发布包里面没有hadoop-eclipse-plugin-1.1.2.jar，开发者必须根据所在的环境自行编译hadoop-eclipse-plugin-1.1.2.jar插件。
以下为自行编译hadoop-eclipse-plugin-1.1.2.jar的步骤：
1、 安装Ant（参考官方文档）
2、 修改${HADOOP_HOME}/src/contrib/l文件
以下是笔者机器上的build.xml文件，可以以此作为模版，修改相应的节点即可（其中红部分为需要修改的节点）。
hadoop分布式集搭建<?xml version="1.0" encoding="UTF-8" standalone="no"?> 
<project default="jar" name="eclipse-plugin"> 
  <property name="name" value="${ant.project.name}"/> 
  <property name="root" value="${basedir}"/> 
  <property name="" location="D:\cygwin64\home\lenovo\hadoop-1.1.2"/> 
  <property name='version' value='1.1.2'/> 
  <property name='eclipse.home' location='E:\eclipse4.1\eclipse'/> 
  <property name="build.dir" location="${}/build/contrib/${name}"/> 
  <property name="build.classes" location="${build.dir}/classes"/> 
  <property name="src.dir"  location="${root}/src/java"/> 
   
  <path id="eclipse-sdk-jars"> 
    <fileset dir="${eclipse.home}/plugins/"> 
      <include name="lipse.ui*.jar"/> 
      <include name="lipse.jdt*.jar"/> 
      <include name="*.jar"/> 
      <include name="lipse.equinox*.jar"/> 
      <include name="lipse.debug*.jar"/> 
      <include name="lipse.osgi*.jar"/> 
      <include name="lipse.swt*.jar"/> 
      <include name="lipse.jface*.jar"/> 
      <include name="am.cvs.ssh2*.jar"/> 
      <include name="com.jcraft.jsch*.jar"/> 
    </fileset> 
  </path> 
   
  <path id="classpath"> 
  <fileset dir="${}"> 
    <include name="*.jar"/> 
  </fileset> 
    <path refid="eclipse-sdk-jars"/> 
  </path> 
 
<target name="compile"> 
  <mkdir dir="${build.dir}/classes"/> 

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。