⼤数据⾯试题之Hadoop集搭建步骤
⼀、打开需要搭建Hadoop集的主从节点服务器 ，配置好静态IP、主机名hostname、主机IP映射⽂件hosts、关掉防⽕墙
⼆、通过远程登录⼯具（我⽤的是SecureSRT） 登录到Linux系统，登录前需要在Windows系统中
C:\Windows\System32\drivers\etc⽬录下的hosts中配置好Linux系统的ip地址和主机名，要不然远程登录⼯具⽆法连接到Linux系统
三、登录到Linux系统之后使⽤su命令切换到root⽤户下，同步主从节点服务器的系统时间、静态IP、hostname、IP地址主机映射⽂件，关掉防⽕墙。如下图，在SecureSRT下⾯交互窗⼝选择发送交互到所有标签可以同时操作主从节点。
四、配置免密钥登录
五、利⽤⽂件传输⼯具WinSCP将JDK、Hadoop安装包发送到主节点中linux安装jdk环境变量
六、解压JDK、配置JDK环境变量，使⽤source命令⽣效改动的.bash_profile⽂件，⽤java -version检查是否配置成功，如果成功将解压后的JDK安装⽂件和.bash_profile⽂件使⽤scp命令发送到其他⼦节点
七、在主节点中解压Hadoop安装⽂件，并配置hadoop-env.sh、yarn-env.sh、l、l、l、l⽂件（复制l并改名为l）、slaves⽂件
⼋、配置Hadoop启动的系统环境变量，并将配置后的Hadoop⽂件和.bash_profile⽂件利⽤scp命令传输到其他从节点上，然后使环境变量⽣效，配置
九、创建数据⽬录hadoopdata
⼗、启动Hadoop集
1、格式化⽂件系统：在master节点上，⽤hdfs namenode -format命令
2、启动Hadoop：在master节点上，⽤start-all.sh命令
3、⽤jps命令查看进程是否启动，master节点：Jps、ResourceManager、NameNode、SecondaryNameNode；slave节点：DataNode、NodeManager、Jps
4、Web UI查看集是否启动成功：如果之前配置好主机名IP地址映射直接在浏览器中输⼊“主节点主机名：9000”
5、查看Yarn是否正常启动：“主节点主机名：18088”
6、运⾏PI实例检查集是否成功:hadoop jar hadoop- mapreduce-examples-2.5.1.jar pi 5 5

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。