Hadoop伪分布式安装
1.安装Hadoop（伪分布式）
上传Hadoop
切换到目录/bigdata/app
cd /bigdata/app
将hadoop-2.9. 上传到该目录
解压
tar -zxf hadoop-2.9. -C ..
cd ..
ls
将Hadoop添加到环境变量
vim /etc/profile
进入编辑状态，添加如下内容到文件末尾，注意大小写
export HADOOP_HOME=/bigdata/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存并退出vim
让环境变量立即生效
source /etc/profile
验证环境变量是否正确
hadoop version
修改配置文件hadoop-env.sh
cd hadoop-2.9.2/etc/hadoop/
vim hadoop-env.sh
第25行修改JAVA_HOME位置
export JAVA_HOME=/bigdata/jdk1.8.0_251
保存并退出vim
修改配置文件l
l
在<configuration>标签中加入以下内容
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata:9000</value>
</property>
<property>
<name&p.dir</name>
<value>/bigdata/data</value>
</property>
保存并退出vim
修改配置文件l
l
在<configuration>标签中加入以下内容
<property>
<name&plication</name>
  <value>1</value>
</property>
保存并退出vim
格式化HDFS
hdfs namenode -format
vim命令编辑保存退出
格式化成功的话，在/bigdata/data目录下可以看到dfs目录
启动NameNode
hadoop-daemon.sh start namenode
完成后使用jps命令可以看到NameNode进程
启动DataNode
hadoop-daemon.sh start datanode
完成后使用jps命令可以看到DataNode进程
查看NameNode管理界面
在windows使用浏览器访问bigdata:50070可以看到HDFS的管理界面
如果看不到，(1)检查windows是否配置了hosts;
位于C:\Windows\System32\drivers\etc\hosts
(2)关闭linux的防火墙
systemctl stop firewalld
systemctl disable firewalld
关闭HDFS的命令
hadoop-daemon.sh stop namenode
hadoop-daemon.sh stop datanode
2.配置SSH免密登录
生成密钥
ssh-keygen -t rsa
回车四次即可生成密钥
复制密钥，实现免密登录
ssh-copy-id root@bigdata
根据提示需要输入“yes”和root用户的密码
新的HDFS启停命令
免密登录做好以后，可以使用start-dfs.sh和stop-dfs.sh命令启停HDFS，不再需要使用hadoop-daemon.sh脚本
#启动HDFS
start-dfs.sh
#停止HDFS
stop-dfs.sh
注意：第一次用这个命令可能还是需要输入yes，按提示输入即可。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。