Hadoop安装(详细步骤)前期操作
1. 下载 hadoop 安装包⾄安装⽬录
安装⽬录:/opt
hadoop版本:hadoop-2.6.0-cdh5.14.
2. 解压安装包⾄软件⽬录(最好更名,以便之后⽅便配置⽂件)
tar -zxf hadoop-2.6.0-cdh5.14.
mv hadoop-2.6.0-cdh5.14.2 soft/hadoop260
3. 进⼊⽂件,准备配置
因为需要⽤到 java 的路径,可以代码查,并复制⾄剪贴板备⽤
cd /opt/soft/hadoop260/etc/hadoop
echo $JAVA_HOME
修改配置⽂件
注:注意修改路径和IP地址之类的变更项
1. 配置 jdk 路径
#更换 JAVA_HOME 的路径
vi hadoop-env.sh
export JAVA_HOME=/opt/soft/jdk180
2. 修改核⼼配置⽂件
设置默认⽂件系统(本地默认 file:/位置)此处端⼝与HBASE端⼝设成⼀样
创建临时存储⽂件路径
授权访问⽤户为所有 root 型
授权访问⽤户为任意组的 root 型
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.56.101:9000</value>
</property>
<property>
<name&p.dir</name>
<value>/opt/soft/hadoop260/tmp</value>
</property>
<property>
<name>hosts</name>
mysql下载详细教程<value>*</value>
</property>
<property>
<name>roups</name>
<value>*</value>
</property>
</configuration>
3. 设置⽂件副本个数
这⾥:最少3个伪分布只写1个,我只⽤⼀台机⼦模拟
l
<configuration>
<property>
<name&plication</name>
<value>1</value>
</property>
</configuration>
4. 设置映射化简模型框架
这⾥需要复制 plate 临时⽂件,并在复制后的⽂件中配置(注意命名)设置框架为 yarn
l.l
l
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5. 设置 yarn 站点+节点
设置 yarn 站点名称为:localhost
设置辅助节点管理
<!-- Site specific YARN configuration properties -->
<property>
<name&sourcemanager.localhost</name>
<value>localhost</value>
</property>
<property>
<name&demanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
6. 添加环境变量的相关项
vi /etc/profile
#末⾏添加配置项
export HADOOP_HOME=/opt/soft/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin export HADOOP_INSTALL=$HADOOP_HOME
启动调试是否配置成功
1. 加载环境变量配置⽂件
source /etc/profile
2. 格式化 NameNode
hadoop namenode -format
3. 启动 Hadoop
start-all.sh
4. 检验启动是否成功
后台进程应该有相关的5项
⽹页键⼊ 192.168.56.101:50070 页⾯显⽰为:
检验成功,即安装成功,祝⼤家好运,谢谢
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论