Hadoop集环境搭建
1、准备资料
虚拟机、Redhat6.5、hadoop-1.0.3、jdk1.6
2、基础环境设置
hadoop分布式集搭建
2.1配置机器时间同步
#配置时间自动同步
crontab -e
0 1 * * * root /usr/sbin/ntpdate p.org
#手动同步时间
/usr/sbin/ntpdate p.org
1、 安装JDK
安装
cd /home/wzq/dev
./jdk-*****.bin
设置环境变量
Vi  /etc/profile/java.sh
export JAVA_HOME=/home/wzq/dev/jdk1.6
export PATH=$PATH:$JAVA_HOME/bin
2.2配置机器网络环境
#配置主机名 (hostname)
  vi /etc/sysconfig/network
NETWORKING=yes #启动网络
NETWORKING_IPV6=no
HOSTNAME=master  #主机名

#修第一台 hostname 为 master
hostname master
#检测
hostname
#使用 setup 命令配置系统环境
setup
#检查ip配置
cat /etc/sysconfig/network-scripts/ifcfg-eth0   
# Advanced Micro Devices [AMD] 79c970 [PCnet32 LANCE]
DEVICE=eth0
BOOTPROTO=none
HWADDR=00:0c:29:fc:3a:09
ONBOOT=yes
NETMASK=255.255.255.0
IPADDR=192.168.1.100
TYPE=Ethernet
#重新启动网络服务
/sbin/service network restart
#检查网络ip配置
/sbin/ifconfig 
2.3关闭防火墙
2.4配置集hosts列表
vi /etc/hosts
#添加一下内容到 vi 中
192.168.1.100 master
192.168.1.101 node1 #全分布式用到
192.168.1.101 node2  #全分布式用到
2.5创建用户账号和Hadoop部署目录和数据目录
#创建 hadoop 用户
/usr/sbin/groupadd hadoop
#分配 hadoop 到 hadoop 组中
/usr/sbin/useradd hadoop -g hadoop
#修改hadoop用户密码
Passwd hadoop
#创建 hadoop 代码目录结构
mkdir -p /opt/modules/hadoop/
#修改目录结构权限拥有者为为hadoop
chown -R hadoop:hadoop  /opt/modules/hadoop/
2.6生成登陆密钥
#切换到Hadoop 用户下
su hadoop
cd /home/hadoop/
#在master、node1、node2三台机器上都执行下面命令，生成公钥和私钥
ssh-keygen -q -t rsa -N "" -f /home/hadoop/.ssh/id_rsa
cd  /home/hadoop/.ssh
#把node1、node2上的公钥拷贝到master上
scp /home/hadoop/.ssh/id_rsa.pub  hadoop@master:/home/hadoop/.ssh/node1_pubkey
scp /home/hadoop/.ssh/id_rsa.pub  hadoop@master:/home/hadoop/.ssh/node2_pubkey
#在master上生成三台机器的共钥
cp id_rsa.pub authorized_keys
cat node1_pubkey >>authorized_keys
cat node2_pubkey >>authorized_keys
rm node1_pubkey node2_pubkey
#吧master上的共钥拷贝到其他两个节点上
scp authorized_keys node1:/home/hadoop/.ssh/
scp authorized_keys node1:/home/hadoop/.ssh/
#验证
ssh master
ssh node1
ssh node2
没有要求输入密码登陆，表示免密码登陆成功
3、伪分布式环境搭建
3.1下载并安装 JAVA JDK系统软件
#下载jdk
wget 60.28.110.228/source/package/jdk-6u21-linux-i586-rpm.bin
#安装jdk
chmod +x  jdk-6u21-linux-i586-rpm.bin
./jdk-6u21-linux-i586-rpm.bin
#配置环境变量
vi /etc/profile.d/java.sh
export JAVA_HOME=/usr/java/jdk1.6.0_21/
export PATH=$JAVA_HOME/bin:$PATH
#手动立即生效
source /etc/profile
3.2 Hadoop 文件下载和安装
#切到 hadoop 安装路径下
cd /opt/modules/hadoop/
#从 下载Hadoop 安装文件
wget /apache-mirror/hadoop/common/hadoop-1.0.3/hadoop-1.0.
#如果已经下载,请复制文件到安装hadoop 文件夹
cp hadoop-1.0.  /opt/modules/hadoop/
#解压hadoop-1.0.
cd /opt/modules/hadoop/
tar -xvf hadoop-1.0.
#配置环境变量
vi /etc/profile.d/java.sh
export JAVA_HOME=/usr/java/jdk1.6.0_21/
export HADOOP_HOME=/opt/modules/hadoop/hadoop-1.0.3/
export HADOOP_HOME_WARN_SUPPRESS=1
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
#手动立即生效
source /etc/profile
3.3配置 hadoop-env.sh 环境变量
#配置jdk。
# The java implementation to use.  Required.
export JAVA_HOME=/usr/java/jdk1.6.0_21/
3.4 Hadoop Common组件配置 l
#编辑 l 文件
vi /opt/modules/hadoop/hadoop-1.0.3/l
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
    <name>fs.default.name</name>
    <value>hdfs://master:9000</value>
    <description>hadoop namenode 服务器地址和端口，以域名形式</description>
</property>
</configuration>
3.5 HDFS NameNode,DataNode组建配置 l
vi /opt/modules/hadoop/hadoop-1.0.3/l
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
    <name&plication</name>
    <value>2</value>
    <description>HDFS数据保存份数，通常是3 </description>
</property>
</configuration>
3.6 配置MapReduce - JobTracker TaskTracker 启动配置
vi /opt/modules/hadoop/hadoop-1.0.3/l
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
    <name>acker</name>
    <value>master:9001</value>
    <description>JobTracker rpc主机和端口</description>
</property>
</configuration>
3.7格式化文件
#启动切换到hadoop用户
su hadoop
#格式化文件
/opt/modules/hadoop/hadoop-1.0.3/bin/hadoop namenode -format

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。