Hadoop伪分布式搭建实验总结
实验1：
启动⼀个AWS实例，并且将它改变⼤⼩，以及对其进⾏监控和管理。
1. 创建EC2实例
2. 观察实例的参数
3. 更新安全组协议，增加web服务（http协议）
4. 重新定义实例⼤⼩：实例的类型和EBS卷
5. 探索EC2的限制
6. 尝试终⽌保护
实验2：
创建⼀个Amazon弹性存储块（Amazon EBS），将EBS挂载到⼀个EC2实例上，在EBS上创建并配置⽂件系统，以及⽤快照实现EBS的备份和恢复。
1. 新建EBS卷
2. 连接卷到⼀个实例
3. 登陆到创建的实例
4. 创建并配置⽂件系统
5. 创建⼀个EBS快照
6. 恢复EBS快照
实验3：
m语言在VPC中启动了⼀个EC2实例，在实例中运⾏着⼀个web server，对外提供web服务。distribute名词形式
1. 创建⾃⼰的私有云
2. 创建附加⼦⽹
3. 创建⼀个私有云的安全组
4. 登陆到第⼀个web服务实例
indiv是什么意思实验4：
添加了mysql关系型数据库并配置了相应的⼦⽹和安全组，通过web server使⽤数据库进⾏数据的存储。
1. 为RDS 数据库实例创建⼀个VPC安全协议组
2. 创建⼀个数据库⼦⽹组
3. 创建⼀个RDS数据库实例
4. 访问上述创建的数据库
关键问题分析与解决：
在实验⼀中的任务1安装你的亚马逊EC2实例，在填写下⾯的命令时直接复制粘贴的，导致在任务3中⽆法进⾏。询问研究⽣学长后，得知可能是复制导致的问题，建议⾃⼰⼿打⼀边。⼀次我重新做了⼀边任务1，将命令⾃⼰⼿打进去，重新将IPV4地址拷贝进浏览器，回车后运⾏成功。仔细分析可能是复制命令时会将⼀些多余的空格复制进去，导致命令出错。
图 1实验⼀
在实验⼆中，因为之前的密钥⽂件没有保存，导致实验⽆法进⾏下去，不得不重新创建⼀个实例。还有就是获取PPK⽂件的时候需要通过pem⽂件转换，下载专门的软件。实验过程中需要通过PUTTY来访问云端，同时需要将云端实例的安全组⾥SSH端⼝打开。
imfilter是什么滤波实验三执⾏遇到了⼀点⼩问题，做到“Name tag: Type: Public Subnet 2”处时出现了点⼩错误。后来发现是实验指导书上的错误，这个地⽅的⼦⽹应该是私有的才对。
实验四做到任务四时后出现报错，原因是创建数据库时没有选择Only enable options eligible for RDS Free Usage Tier Info。重新建⽴数据库并正确操作，室验成功。
Hadoop伪分布安装
实验环境：
VMware 、ubuntu-18.04.1-desktop-amd64.iso、hadoop-0.20.（在课件上的⽹站已经没有此版本了，因此我只能到官⽹上下载）。
前期准备：
修改镜像源，换成国内的镜像源，这样下载速度还快；安装vim，⽅便后期编辑⽂件。
实验步骤及遇到的问题：
1、安装jdk和配置java环境变量
⾸先在官⽹上下载jdk压缩包，本次实验所⽤的是版本。将压缩包解压到虚拟机，然后配置环境变量，使⽤vi /etc/profile添加以下信息：
export JAVA_HOME=/java/jdk1.8.0_191
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
最后重启系统，在终端输⼊Java –version，显⽰如下信息，jdk安装成功。
图 2 JDK安装成功
2、安装ssh
安装过程中，不知道是什么故障，执⾏sudo apt-get install ssh会报错，报错如下：
图 3 ssh安装报错
但是我换了条安装命令sudo apt-get install openssh-server后就可以，具体原因还没有搞清楚。
通过which shh和which shhd查看ssh是否安装；通过ps aux | grep ssh查看ssh是否安装；通过sudo uf
w status查看防⽕墙是否已关闭；通过sudo netstat -tunlp | grep ssh查看ssh连接端⼝。检查完毕，安装成功。
java下载过程图 4 检查ssh安装
3、安装Hadoop
这⼀步⽐较简单，直接将下载好的压缩包拷贝到虚拟机⾥即可。
4、配置Hadoop
这⼀步按照课件⾥⾯的说明，先修改hadoop-env.sh⽂件，添加java的环境变量；然后依次修改l、l和l⽂件。
5、免密码SSH设置
⾸先通过ssh-keygen –t rsa命令⽣成密钥对，执⾏过程中⼀路回车，选择默认设置。
图 5 ssh⽣成密钥
然后进⼊.ssh⽬录下，执⾏命令cp id_rsa.pub authorized_keys。
图 6 ssh配置
到此为⽌，所有的伪分布安装基本完成，下⾯进⾏测试，检验是否安装成功。6、结果测试
甘肃桥梁z型钢怎么样
⾸先需要先格式化分布式⽂件系统，执⾏命令bin/hadoop namenode –format。
图 7 格式化
然后执⾏bin/start-all.sh启动namenode守护进程，启动Hadoop的五个进程。
图 8 启动Hadoop
到此Hadoop已经启动运⾏。
可以在终端输⼊命令jps查看。
图 9 jsp命令查看
也可以通过在浏览器输⼊⽹址localhost:50070和localhost:50030查看。
图 10 localhost:50030浏览器查看

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。