Red Hat linux 9.0 下Hadoop单机配置
詹坤林
1 hadoop获取 (1)
2 hadoop安装前提 (1)
3 详细安装过程 (2)
1 hadoop获取
下载：apache.freelamp/hadoop/
Core是hadoop，Hbase，Hive等都是子项目。
2 hadoop安装前提
Hadoop的安装与运行需要依赖以下程序，在安装Hadoop之前，请确保在计算机上已经安装了以下软件：
(1)Java™1.5.x及以上版本，推荐Sun公司的官方版本(www.java)，必须安装。
下载时请注意选择对应于机器配置的正确的版本（操作系统、32/64位）；
(2) ssh(安全外壳协议)，必须安装，且每次系统启动时sshd服务也必须自动启动。
①Ubuntu用户可以用以下命令自动下载并安装：
$ sudo apt-get install ssh
$ sudo apt-get install rsync
②red hat linux 9
(i)默认已经安装ssh服务，以下命令查看版本
[root@linux-zkl root]# rpm -q openssh-server
openssh-server-3.5p1-6
(ii)设置ssh为开机自启动
使用ntsysv命令，在弹出窗口中选择sshd服务，在前面加上*号(定位到[]，然后按以下空格键即可加上*号)，然后按Tab键，到确定按钮，回车确定。
(iii)启动ssh
[root@linux-zkl root]# /etc/init.d/sshd start
启动 sshd                                                  [  确定  ]
[root@linux-zkl root]# /etc/init.d/sshd stop
停止 sshd：                                                [  确定  ]
③其他Linux版本的用户可以到www.openssh/portable.html下载openssh并按照相关说明安装；
(3) 如果运行在Windows平台上，则必须安装Cygwin（从win/下载），安装好Cygwin之后还需要安装openssh包。
需要注意的是，由于Hadoop需要通过ssh服务在各个节点之间登录并运行服务，因此必须确保安装Hadoop的各个节点之间的网络畅通，网络畅通的标准是每台机器的主机名和IP地址能够被所有机器正确解析（包括它自己）.
3 详细安装过程
(0)软件必备：安装jdk1.5以上(我的jdk安装在/usr/java/jdk1.6.0_13下面)。
(1)下载 hadoop-0.20.，拷贝到linux某文件夹，例如/usr/hadoop(自己建的一个文件夹hadoop)，然后解压文件，得到 /usr/hadoop/hadoop-0.20.1
(2)修改 conf/hadoop-env.sh 文件
[root@linux-zkl root]# vi /usr/hadoop/hadoop-0.20.1/conf/hadoop-env.sh
# Set Hadoop-specific environment variables here.
# The only required environment variable is JAVA_HOME.  All others are
# optional.  When running a distributed configuration it is best to
# set JAVA_HOME in this file, so that it is correctly defined on
# remote nodes.
# The java implementation to use.  Required.
# export JAVA_HOME=/usr/lib/j2sdk1.5-sun
export JAVA_HOME=/usr/java/jdk1.6.0_13
<；因为我的jdk安装在/usr/java/jdk1.6.0_13下面>
在其中设置 JAVA_HOME 环境变量：
export JAVA_HOME="C:\Program Files\Java\jdk1.5.0_01” (这里因为路径中 Program Files 中间有空格，一定要用双引号将路径引起来)
(3)配置完毕了
(4)测试例子:
在Hadoop中，带有几个示例程序并且已经打包成了hadoop-0.20.1-examples.jar。其中有一个WordCount 程序，功能是统计一批文本文件中各个单词出现的次数，我们先来看看怎么运行这个程序。
$ cd /usr/hadoop/hadoop-0.20.1
$ mkdir test-in
$ cd test-in
$ echo "hello world bye world" &
linux安装jdk环境变量
$ echo "hello hadoop goodbye hadoop" &
#在 test-in 目录下创建两个文本文件, WordCount 程序将统计其中各个单词出现次数
$ cd ..
$ bin/hadoop jar hadoop-0.20.1-examples.jar  wordcount test-in
test-out
注意事项：运行 bin/hadoop jar hadoop-0.16.0-examples.jar wordcount test-in test-out 时，务必注意第一个参数是 jar, 不是 –jar。
注意文件分别是,，test-out目录是程序生成的，运行前必须先删除test-out目录
#执行完毕，下面查看执行结果：
$ cd test-out
$ cat part-00000
bye 1
goodbye 1
hadoop 2
hello 2
world 2

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。