hadoop搭建与eclipse开发环境设置
                                                          ――罗利辉
1. 前言
1.1 目标
目的很简单，为进行研究与学习，部署一个hadoop运行环境，并搭建一个hadoop开发与测试环境。
具体目标是：
✓ 在ubuntu系统上部署hadoop
✓ 在windows 上能够使用eclipse连接ubuntu系统上部署的hadoop进行开发与测试
1.2 软硬件要求
硬件要求：
三台普通PC。
当然使用虚拟机也可以，本环境搭建也是VMWare6.5虚拟机上进行的。
软件要求：
操作系统：ubuntu 11.04 server。
Hadoop版本: hadoop-0.20.2
Eclipse版本:3.3.2
Java版本：1.6.0_26（必须1.6以上）
注意：
Hadoop版本和Eclipse版本请严格按照要求。
现在的hadoop最新版本是hadoop-0.20.203，我在windows上使用eclipse（包括3.6版本和3.3.2版本）连接ubuntu上的hadoop-0.20.203环境一直没有成功。但是开发测试程序是没有问题的，不过需要注意权限问题。
    如果要减少权限问题的发生，可以这样做：ubuntu上运行hadoop的用户与windows上的用户一样。
1.3 环境拓扑图
主机名
Hadoop角
Hadoop jps命令结果
Hadoop用户
Hadoop安装目录
ubuntu
Master
slaves
NameNode
DataNode
JobTracker
TaskTracker
SecondaryNameNode
创建相同的用户的组名：hadoop。
安装hadoop-0.20.2时使用hadoop用户，并且hadoop的文件夹归属也是hadoop：hadoop
/opt/hadoop
Ubuntu1
slaves
DataNode
TaskTracker
Ubuntu2
slaves
DataNode
TaskTracker
Windows
开发测试环境
安装了jdk与eclipse，本身不需要安装hadoop，但是需要hadoop安装包下面的jar包。
　注意：ubuntu既是NameNode又是DataNode，同时也是JobTracker。

2. Ubuntu 安装
安装ubuntu11.04 server系统，具体略。
我是先在虚拟机上安装一个操作系统，然后把hadoop也安装配置好了，再克隆二份，然后把主机名与IP修改，再进行主机之间的SSH配置。
如果仅作为hadoop的运行与开发环境，不需要安装太多的系统与网络服务，或者在需要的时候通过apt-get install进行安装。不过SSH服务是必须的。
3. Hadoop 安装
以下的hadoop安装以主机ubuntu下进行安装为例。
3.1 下载安装jdk1.6
安装版本是：jdk-6u26-linux-i586.bin，我把它安装拷贝到：/opt/jdk1.6.0_26
3.2 下载解压hadoop
安装包是：hadoop-0.20.。
$ tar  –zxvf  hadoop-0.20.
$ mv  hadoop-0.20.2  /opt/hadoop
3.3 修改系统环境配置文件
    切换为根用户。
● 修改环境配置文件/etc/profile，加入：
export JAVA_HOME=/opt/jdk1.6.0_26
export JRE_HOME=/opt/jdk1.6.0_26/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export HADOOP_HOME=/opt/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
● 修改地址解析文件/etc/hosts，加入
192.168.69.231  ubuntu
192.168.69.232  ubuntu1
192.168.69.233  ubuntu2
3.4 修改hadoop的配置文件
切换为hadoop用户。
● 修改hadoop目录下的conf/hadoop-env.s件
加入java的安装根路径：
export JAVA_HOME=/opt/jdk1.6.0_26
● 把hadoop目录下的l文件修改成如下：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
  <name&p.dir</name>
  <value>/hadoop</value>
  <description>A base for other temporary directories.</description>
</property>
<property>
  <name>fs.default.name</name>
  <value>hdfs://ubuntu:9000</value>
  <description>The name of the default file system.  A URI whose
  scheme and authority determine the FileSystem implementation.  The
  uri's scheme determines the config property (fs.SCHEME.impl) naminghadoop安装详细步骤linux
  the FileSystem implementation class.  The uri's authority is used to
  determine the host, port, etc. for a filesystem.</description>
</property>
<property>
  <name>lude</name>
  <value>excludes</value>
</property>
<property>
<name>dfs.name.dir</name>         
<value>/hadoop/name</value>
  <description>Determines where on the local filesystem the DFS name node should store the name table. If this is a comma-delimited list of directories then the name table is replicated in all of the directories, for redundancy. </description>
</property>
</configuration>

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。