Hadoop学习笔记1：Hadoop单点模式的安装和部署· 1.⾸先来配置SSH免密码登陆
· 2.测试登录成功，创建完成
· 3.创建安装⽬录
· 4.安装jdk
tar -xzvf /data/hadoop/ -C /apps
其中，tar -xzvf 对⽂件进⾏解压缩，-C 指定解压后，将⽂件放到/apps⽬录下。
切换到/apps⽬录下，我们可以看到⽬录下内容如下：
cd /apps/
ls -l
下⾯将jdk1.8.0_161⽬录重命名为java，执⾏：
mv /apps/jdk1.8.0_161/ /apps/java
系统环境变量或⽤户环境变量。我们在这⾥修改⽤户环境变量。
sudo leafpad ~/.bashrc
输⼊上⾯的命令，打开存储环境变量的⽂件。在⽂件末尾空⼏⾏，将java的环境变量，追加进⽤户环境变量中。
#java
export JAVA_HOME=/apps/java
export PATH=$JAVA_HOME/bin:$PATH
保存并关闭编辑器
让环境变量⽣效。
source ~/.bashrc
执⾏source命令，让java环境变量⽣效。执⾏完毕后，可以输⼊java，来测试环境变量是否配置正确。如果出现下⾯界⾯，则正常运⾏。java -version
· 5.Hadoop安装
切换到/data/hadoop⽬录下，将hadoop-3.0.解压缩到/apps⽬录下。
tar -xzvf /data/hadoop/hadoop-3.0. -C /apps/
为了便于操作，我们也将hadoop-3.0.0重命名为hadoop。
mv /apps/hadoop-3.0.0/ /apps/hadoop
· 6.修改⽤户环境变量
将hadoop的路径添加到path中。先打开⽤户环境变量⽂件。
sudo leafpad ~/.bashrc
将以下内容追加到环境变量~/.bashrc⽂件中。
#hadoop
export HADOOP_HOME=/apps/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
让环境变量⽣效。
source ~/.bashrc
验证hadoop环境变量配置是否正常
hadoop version
安装成功
· 7.下⾯来修改hadoop本⾝相关的配置
⾸先切换到hadoop配置⽬录下。
1 cd /apps/hadoop/etc/hadoop
· 8.配置hadoop-env.sh
输⼊leafpad /apps/hadoop/etc/hadoop/hadoop-env.sh，打开hadoop-env.sh配置⽂件。
1 leafpad /apps/hadoop/etc/hadoop/hadoop-env.sh
将下⾯JAVA_HOME追加到hadoop-env.sh⽂件中。
1 export JAVA_HOME=/apps/java
以上便是HDFS安装过程
· 9.配置l
输⼊leafpad /apps/hadoop/etc/l，打开l配置⽂件。
leafpad /apps/hadoop/etc/l
添加下⾯配置到
与
标签之间。
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
· 10.配置l
输⼊leafpad /apps/hadoop/etc/l，打开l配置⽂件。
leafpad /apps/hadoop/etc/l
添加下⾯配置到
与
标签之间。
<property>
<name&plication</name>
<value>1</value>
</property>
配置项说明：
输⼊leafpad /apps/hadoop/etc/hadoop/slaves，打开slaves配置⽂件。
leafpad /apps/hadoop/etc/hadoop/slaves
将集中slave⾓⾊的节点的主机名，添加进slaves⽂件中。⽬前只有⼀台节点，所以slaves⽂件内容为：
1 localhost
· 12.下⾯格式化HDFS⽂件系统。执⾏：
1 hadoop namenode -format
· 13.切换⽬录到/apps/hadoop/sbin⽬录下。
1 cd /apps/hadoop/sbin/
· 14.启动hadoop的hdfs相关进程。
1 ./start-dfs.sh
· 15.输⼊jps查看HDFS相关进程是否已经启动。
1 jps
· 我们可以看到以下相关进程
· 16.下⾯可以再进⼀步验证HDFS运⾏状态。先在HDFS上创建⽬录。
hdfs dfs -mkdir /user
hdfs dfs -mkdir /user/dolphin
hdfs dfs -mkdir input
· 将输⼊⽂件复制到分布式⽂件系统中。
1 hdfs dfs -put /apps/hadoop/etc/hadoop/*.xml input
· 17.执⾏下⾯命令
1 hadoop jar /apps/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0.jar grep input output 'dfs[a-z.]+'
· 查看执⾏结果
1 hdfs dfs -cat output/*java配置用户变量
· 以上，便是HDFS安装过程。
· 18.配置MapReduce
下⾯来配置MapReduce相关配置。再次切换到hadoop配置⽂件⽬录
1 cd /apps/hadoop/etc/hadoop
· 19.配置l
输⼊leafpad /apps/hadoop/etc/l，打开l配置⽂件。
1 leafpad /apps/hadoop/etc/l
将mapreduce相关配置，添加到标签之间。
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
这⾥指定mapreduce任务处理所使⽤的框架。
·
20.配置l
输⼊leafpad /apps/hadoop/etc/l，打开l配置⽂件。
1 leafpad /apps/hadoop/etc/l
将yarn相关配置，添加到标签之间。
<property>
<name&demanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name&v-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YAR N_HOME,HADOOP_MAPRED_HOME</value>
</property>
· 21.启动
下⾯来启动计算层⾯相关进程，切换到hadoop启动⽬录。
1 cd /apps/hadoop/sbin/
· 23.执⾏命令，启动yarn。
1 ./start-yarn.sh
Hadoop 单点模式已经安装完成!

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。