Hadoop的伪分布式安装详细步骤
1. 安装JDK
2. 关闭防⽕墙
service iptables stop
chkconfig iptables off
3. 关闭云主机的开机初始化
service cloud-init stop
chkconfig cloud-init off
service cloud-init-local stop
chkconfig cloud-init-local off
4. 修改主机名
vim /etc/sysconfig/network
修改HOSTNAME的值，例如将HOSTNAME修改为hadoop01
改完之后，保存退出，重新⽣效
source /etc/sysconfig/network
5. 将主机名和IP进⾏映射
vim /etc/hosts
添加IP 主机名
保存退出
6. 重启
reboot
7. 免密登录
产⽣密钥：ssh-keygen — ⼀路回车，不需要输⼊任何数据
拷贝公钥：ssh-copy-id root@hadoop01
测试：ssh hadoop01 回车之后如果不需要任何密码，说明免密成功，那么输⼊logout
8. 下载Hadoop的安装包
cd /home/software/
wget bj-yzjd.ufile-north-02.ucloud/hadoop-2.7.
9. 解压
tar -xvf hadoop-2.7.
10. 进⼊⼦⽬录
cd hadoop-2.7.5/etc/hadoop/
11. 编辑
vim hadoop-env.shjava安装完整教程
修改属性
export JAVA_HOME=/home/presoftware/jdk1.8
export HADOOP_CONF_DIR=/home/software/hadoop-2.7.5/etc/hadoop
保存退出，重新⽣效
source hadoop-env.sh
12. 编辑
l
添加
fs.defaultFS
hdfs://hadoop01:9000
/home/software/hadoop-2.7.5/tmp
保存退出
13. 编辑
l
添加
1
保存退出
14. 编辑
l.l
l
添加
mapreduce.framework.name
yarn
保存退出
15. 编辑
l
添加
hadoop01
mapreduce_shuffle
保存退出
16. 编辑
vim slaves
删除localhost，添加当前的主机名
保存退出
17. 修改环境变量
vim /etc/profile
在⽂件尾部追加
export HADOOP_HOME=/home/software/hadoop-2.7.5
PATH:
export PATH=HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存退出，重新⽣效
source /etc/profile
18. 格式化Hadoop
hadoop namenode -format
如果出现Storage directory /home/software/hadoop-2.7.5/tmp/dfs/name has been successfully formatted表⽰格式化成功
19. 启动Hadoop
start-all.sh
20. 通过jps查看进程
Jps
NameNode 端⼝：50070
DataNode 端⼝：50075
SecondaryNameNode 端⼝：50090
ResourceManager 端⼝：8088
ResourceManager 端⼝：8088
NodeManager
常见错误：
1. 如果出现Name or Service not known或者Unknown Host，那么说明主机名配置错误，检查/etc/hosts⽂件
2. 如果出现Command not found，那么说明环境变量配置错误，或者配置完成之后没有source
3. 如果缺少了NameNode/DataNode/SecondaryNameNode，那么检查l是否配置正确
4. 如果缺少了ResourceManager/NodeManager，那么检查l是否配置正
确

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。