Linux下安装Hadoop集详细步骤⽬录
1.在usr⽬录下创建Hadoop⽬录，将安装包导⼊⽬录中并解压⽂件
2.进⼊vim /etc/profile⽂件并编辑配置⽂件
3.使⽂件⽣效
4.进⼊Hadoop⽬录下
5.编辑配置⽂件
6.进⼊slaves添加主节点和从节点
7.将各个⽂件复制到其他虚拟机上
8.格式化hadoop (仅在主节点中进⾏操作)
9.回到Hadoop⽬录下（仅在主节点操作）
1.在usr⽬录下创建Hadoop⽬录，将安装包导⼊⽬录中并解压⽂件
2.进⼊vim /etc/profile⽂件并编辑配置⽂件
#hadoop
export HADOOP_HOME=/usr/hadoop/hadoop-2.6.0
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin
虚拟机linux安装jdk
3.使⽂件⽣效
source /etc/profile
4.进⼊Hadoop⽬录下
cd /usr/hadoop/hadoop-2.6.0/etc/hadoop
5.编辑配置⽂件
（1）进⼊vim hadoop-env.sh⽂件添加（java jdk⽂件所在位置）
export JAVA_HOME=/usr/java/jdk1.8.0_181
（2）进⼊ l（z1：在主节点的ip或者映射名(改成⾃⼰的)）
<configuration>
<property>
<name&p.dir</name>
<value>file:/root/hadoop/tmp</value>
</property>
<!--端⼝号9000-->
<property>
<name>fs.default.name</name>
<value>hdfs://z1:9000</value>
</property>
<!--开启垃圾桶机制单位分钟-->
<property>
<name&ash .insterval</name>
<value>10080</value>
</property>
<!--缓冲区⼤⼩，实际⼯作根据服务器性能-->
<property>
<name>io.file. buffer.sizei</name>
<value>4096</value>
</property>
</configuration>
39,9        底端
（3）Hadoop没有l这个⽂件现将⽂件复制到这然后进⼊l l.l
l
（z1：在主节点的ip或者映射名(改成⾃⼰的)）
<configuration>
<property>
<!--指定Mapreduce运⾏在yarn上-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!--开启MapReduce的⼩任务模式-->
<property>
<name>mapred.able</name>
<value>true</value>
</property>
<property>
<name>acker</name>
<value>z1:9001</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>CMaster:10020</value>
</property>
</configuration>
（4）进⼊l
l
（z1：在主节点的ip或者映射名(改成⾃⼰的)）
<configuration>
<!-- Site specific YARN configuration properties -->
<!--配置yarn主节点的位置-->
<property>
<name&sourcemanager.hostname</name>
<value>z1</value>
</property>
<property>
<!-- mapreduce ，执⾏shuff1e时获取数据的⽅式.-->
<description>The address of the appiications manager interface inthe RM.</description>    <name&sourcemanager.address</name>
<value>z1:8032</value>
</property>
<property>
<name&sourcemanager.scheduler.address</name>
<value>z1:8030</value>
</property>
<property>
<name&sourcemanager.webapp.address</name>
<value>z1:8088</value>
</property>
<property>
<name&sourcemanager.webapp.https.address</name>
<value>z1:8090</value>
</property>
<property>
<name&source-tracker.address</name>
<value>z1:8031</value>
</property>
<property>
<name&sourcemanager.admin.address</name>
<value>z1:8033</value>
</property>
<property><!--mapreduce执⾏shuff1e时获取数据的⽅式，-->
<name&demanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<!--设置内存，yarn的内存分配-->
<name>yarn.scheduler.maximum-a11ocation-mb</name>
<value>2024</value>
<discription>每个节点可⽤内存，单位M，默认8182MB</discription>
</property>
<property>
<name&demanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>
<property>
<name&-mb</name>
<value>1024</value>
</property>
<property>
<name&demanager.vmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name&demanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
(5)进⼊l
l
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/hadoop/hadoop-2.6.0/hadoopDesk/namenodeDatas</value> </property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/hadoop/hadoop-2.6.0/hadoopDatas/namenodeDatas</value>    </property>
<property>
<!--副本个数-->
<name&plication</name>
<value>3</value>

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。