简述hadoop安装步骤
简述hadoop安装步骤
安装步骤:
1、安装虚拟机系统，并进⾏准备⼯作(可安装- ⼀个然后克隆)
2.修改各个虚拟机的hostname和host
3.创建⽤户组和⽤户
4、配置虚拟机⽹络，使虚拟机系统之间以及和host主机之间可以通过
相互ping通。
5.安装jdk和配置环境变量，检查是否配置成功
6、配置ssh，实现节点间的⽆密码登录ssh node1/2指令验证时候成
功
7、master 配置hadoop，并将hadoop⽂件传输到node节点
8、配置环境变量，并启动hadoop, 检查是否安装成功，执⾏wordcou
nt检查是否成功。
⼆.HDFS作⽤是什么
Hadoop分布式⽂件系统(HDFS)是指被设计成适合运⾏在通⽤硬件(commodity hardware)上的分布式⽂件系统（Distributed File System）。它和现有的分布式⽂件系统有很多共同点。但同时，它和其他的分布式⽂件系统的区别也是很明显的。HDFS是⼀个⾼度容错性的系统，适合部署在廉价的机器上。HDFS能提供⾼吞吐量的数据访问，⾮常适合⼤规模数据集上的应⽤。HDFS放宽了⼀部分POSIX约束，来实现流式读取⽂件系统数据的⽬的。HDFS在最开始是作为Apache Nutch搜索引擎项⽬的基础架构⽽开发的。HDFS是Apache Hadoop Core项⽬的⼀部分。
HDFS有着⾼容错性（fault-tolerant）的特点，并且设计⽤来部署在低廉的（low-cost）硬件上。⽽且它提供⾼吞吐量（high throughput）来访问应⽤程序的数据，适合那些有着超⼤数据集（large data set）的应⽤程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以实现流的形式访问（streaming access）⽂件系统中的数据。
三.常⽤的Hadoop FS Shell命令有哪些及其作⽤
1.调⽤Hadoop的⽂件系统Shell（FileSystem Shell）的命令格式：
语法：hadoop fs <args>：前提是位置位于hadoop/bin下，其中fs是参数，表⽰FS Shell，<args>是fs的⼦命令
2.使⽤FS Shell命令⾏管理⽂件：
mkdir  -创建⽬录
语法：hadoop fs -mkdir <paths>
例⼦：
hadoop fs -mkdir /user：在HDFS中创建"/user"⽬录
hadoop fs -mkdir /user/hadoop：在HDFS中创建"/user/hadoop"⽬录
hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2：在HDFS中同时创建"/user/hadoop/dir1"和"/user/hadoop/dir2"，⽬录
ls -查看列表⽂件
语法：hadoop fs -ls <args>
如果是⽂件，则按照如下格式返回⽂件信息：
⽂件名<；副本数> ⽂件⼤⼩修改⽇期修改时间权限⽤户ID 组ID
如果是⽬录，则返回它直接⼦⽂件的⼀个列表
cat -查看⽂件
语法：hadoop fs -cat URI &>：输出路径指定⽂件的内容
例⼦：
hadoop fs -cat /  /：在HDFS中查看input2⽬录下的和的⽂件内容
put -从本地⽂件系统中复制⼀个或多个⽂件到HDFS（外部命令）
语法：hadoop fs -put <localsrc>...<dst>
其中localsrc只能是本地⽂件，dst只能是HDFS⽂件，且不受fs.defaultFS属性影响。
例⼦：
hadoop fs -put /home/hduser/ /input2
-将本地⽂件复制到HDFS⽬录"input2"
hadoop fs -put /home/hduser/ /home/hduser/ /input2
-将多个本地⽂件复制到HDFS⽬录"input2"
hadoop fs -put - /input2/file3
-从标准输⼊中读取输⼊，按Ctrl+C组合键退出并保存到"file3"
get -复制HDFS⽂件到本地系统（外部命令，是put命令的逆操作）
语法：hadoop fs -get <src><localdst>
其中src只能是HDFS⽂件，localdst只能是本地⽂件，且同样不受fs.defaultFS属性影响
例⼦：
hadoop fs -get / /sa/file
-将HDFS⽬录"input2"下的⽂件复制到本地系统⽬录"sa"下的file⽂件夹中
mv -移动、剪切命令
语法：hadoop fs -mv URI [] <dest>：将⽂件从源路径移动到⽬标路径，允许多个源路径，⽬标路径必须是⼀个⽬录
例⼦：
hadoop fs -mv / / /user/hadoop/dir1
-将HDFS上"input2"⽂件夹中的和⽂件移动到"/user/hadoop/dir1"⽂件夹中
cp -复制命令
语法：hadoop fs -cp URI [] <dest>：将⽂件从源路径复制到⽬标路径，允许多个源路径，⽬标路径必须是⼀个⽬录
例⼦：
hadoop fs -cp / / /user/hadoop/dir1
-将HDFS上"input2"⽂件夹中的和⽂件复制到"/user/hadoop/dir1"⽂件夹中
rm、rmr -删除⽂件
<命令
语法：hadoop fs -rm URI []
删除指定的⽂件，只删除⾮空⽬录和⽂件
例⼦：
hadoop fs -rm /
-在HDFS中删除input2⽂件夹下的⽂件
<命令
语法：hadoop fs -rmr URI []
rm的递归版本，整个⽂件夹及⼦⽂件将全部删除
例⼦：
hadoop fs -rmr /user/hadoop/dir1
-在HDFS中直接删除" /user/hadoop/dir1"路径中dir1⽂件夹及该⽂件夹中的⼦⽂件
test、du、expubge -管理命令
语法：hadoop fs -test -[选项] URI
选项：
-e：检查⽂件是否存在，如果存在则返回0，不存在返回1；
-z：检查⽂件是否存在内容，有内容返回1，没有内容返回0（检查⽂件的⼤⼩是否是0字节，⽂件⼤⼩是0字节返回0，不是0字节返回1）；-d：检查路径是否为⽬录，如果是则返回1，不是则返回0.
例⼦：
hadoop fs -test -e /
-检查⽂件是否存在
echo $?  -#"$?"是Linux变量，存储上⼀条命令的返回值，"echo $?"表⽰输出命令⾏返回的数值。
2.du命令
语法：hadoop fs -du URI []
-显⽰⽬录中所有⽂件的⼤⼩
例⼦：
hadoop fs -du /input2
-在HDFS中显⽰input2⽂件夹的⼤⼩，如果是⽬录则列出所有⽂件及其⼤⼩
hadoop fs -du /
-
在HDFS中显⽰input2⽂件夹下⽂件的⼤⼩，如果是⽬录则统计总⼤⼩
语法：hadoop fs -expunge
-清空回收站
以上只介绍了部分常⽤命令，更多命令可查阅Hadoop帮助⽂档，获取位置：
安装jdk环境变量如何配置$Hadoop_HOME/share/doc/hadoop/hadoop-project-dist/hadoop-common/FileSystemShell.html

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。