Hadoop常⽤命令总结⼀、前述
分享⼀篇hadoop的常⽤命令的总结，将常⽤的Hadoop命令总结如下。
⼆、具体
1、启动hadoop所有进程
start-all.sh等价于start-dfs.sh + start-yarn.sh
但是⼀般不推荐使⽤start-all.sh(因为开源框架中内部命令启动有很多问题)。
2、单进程启动。
sbin/start-dfs.sh
---------------
sbin/hadoop-daemons.sh --config .. --hostname .. start namenode ...
sbin/hadoop-daemons.sh --config .. --hostname .. start datanode ...
sbin/hadoop-daemons.sh --config .. --hostname .. start sescondarynamenode ...
sbin/hadoop-daemons.sh --config .. --hostname .. start zkfc ...        //
sbin/start-yarn.sh
--------------
libexec/yarn-config.sh
sbin/yarn-daemon.sh --config $YARN_CONF_DIR  start resourcemanager
sbin/yarn-daemons.sh  --config $YARN_CONF_DIR  start nodemanager
3、常⽤命令
1、查看指定⽬录下内容
hdfs dfs –ls [⽂件⽬录]
hdfs dfs -ls -R  /                  //显式⽬录结构
eg: hdfs dfs –ls /user/wangkai.pt
2、打开某个已存在⽂件
hdfs dfs –cat [file_path]
eg:hdfs dfs -cat /user/wangkai.
3、将本地⽂件存储⾄hadoop
hdfs dfs –put [本地地址] [hadoop⽬录]
hdfs dfs –put /home/  /user/t
4、将本地⽂件夹存储⾄hadoop
hdfs dfs –put [本地⽬录] [hadoop⽬录]
hdfs dfs –put /home/t/dir_name /user/t
(dir_name是⽂件夹名)
5、将hadoop上某个⽂件down⾄本地已有⽬录下
hadoop dfs -get [⽂件⽬录] [本地⽬录]
hadoop dfs –get /user/ /home/t
6、删除hadoop上指定⽂件
hdfs  dfs –rm [⽂件地址]
linux递归删除目录命令hdfs dfs –rm /user/
7、删除hadoop上指定⽂件夹（包含⼦⽬录等）
hdfs dfs –rm [⽬录地址]
hdfs dfs –rmr /user/t
8、在hadoop指定⽬录内创建新⽬录
hdfs dfs –mkdir /user/t
hdfs  dfs -mkdir - p /user/centos/hadoop
9、在hadoop指定⽬录下新建⼀个空⽂件
使⽤touchz命令：
hdfs dfs  -touchz  /
10、将hadoop上某个⽂件重命名
使⽤mv命令：
hdfs dfs –mv  /  /  （将重命名为ok.txt）
11、将hadoop指定⽬录下所有内容保存为⼀个⽂件，同时down⾄本地
hdfs dfs –getmerge /user /home/t
12、将正在运⾏的hadoop作业kill掉
hadoop job –kill  [job-id]
13.查看帮助
hdfs dfs -help
4、安全模式
(1)退出安全模式
NameNode在启动时会⾃动进⼊安全模式。安全模式是NameNode的⼀种状态，在这个阶段，⽂件系统不允许有任何修改。
系统显⽰Name node in safe mode，说明系统正处于安全模式，这时只需要等待⼗⼏秒即可，也可通过下⾯的命令退出安全模
式：/usr/local/hadoop$bin/hadoop dfsadmin -safemode leave
(2) 进⼊安全模式
在必要情况下，可以通过以下命令把HDFS置于安全模式：/usr/local/hadoop$bin/hadoop dfsadmin -safemode enter
5、节点添加
添加⼀个新的DataNode节点，先在新加节点上安装好Hadoop，要和NameNode使⽤相同的配置（可以直接从NameNode复制），修
改HADOOPHOME/conf/master⽂件，加⼊NameNode主机名。然后在NameNode节点上修改HADOOPHOME/conf/master⽂件，加⼊NameNode主机名。然后在NameNode节点上修改HADOOP_HOME/conf/slaves⽂件，加⼊新节点名，再建⽴新加节点⽆密码的SSH连接，运⾏启动命令为：/usr/local/hadoop$bin/start-all.sh
6、负载均衡
HDFS的数据在各个DataNode中的分布可能很不均匀，尤其是在DataNode节点出现故障或新增DataNode节点时。新增数据块时NameNode对DataNode节点的选择策略也有可能导致数据块分布不均匀。⽤户可以使⽤命令重新平衡DataNode上的数据块的分
布：/usr/local/hadoop$bin/start-balancer.sh
7、补充
1.对hdfs操作的命令格式是hdfs dfs
1.1 -ls 表⽰对hdfs下⼀级⽬录的查看
1.2 -lsr 表⽰对hdfs⽬录的递归查看
1.3 -mkdir 创建⽬录
1.4 -put 从Linux上传⽂件到hdfs
1.5 -get 从hdfs下载⽂件到linux
1.6 -text 查看⽂件内容
1.7 -rm 表⽰删除⽂件
1.7 -rmr 表⽰递归删除⽂件
2.hdfs在对数据存储进⾏block划分时，如果⽂件⼤⼩超过block，那么按照block⼤⼩进⾏划分；不如block size的，划分为⼀个块，是实际数据⼤⼩。
*****PermissionDenyException  权限不⾜**********
hadoop常⽤命令：
hdfs dfs  查看Hadoop HDFS⽀持的所有命令
hdfs dfs –ls  列出⽬录及⽂件信息
hdfs dfs –lsr  循环列出⽬录、⼦⽬录及⽂件信息
hdfs dfs – /user/sunlightcs  将本地⽂件系统的复制到HDFS⽂件系统的/user/sunlightcs⽬录下
hdfs dfs –get /user/ .  将HDFS中的复制到本地⽂件系统中，与-put命令相反
hdfs dfs –cat /user/  查看HDFS⽂件系统⾥的内容
hdfs dfs –tail /user/  查看最后1KB的内容
hdfs dfs –rm /user/  从HDFS⽂件系统删除⽂件，rm命令也可以删除空⽬录
hdfs dfs –rmr /user/sunlightcs  删除/user/sunlightcs⽬录以及所有⼦⽬录
hdfs dfs – /user/  从本地⽂件系统复制⽂件到HDFS⽂件系统，等同于put命令
hdfs dfs –copyToLocal /user/   从HDFS⽂件系统复制⽂件到本地⽂件系统，等同于get命令
hdfs dfs –chgrp [-R] /user/sunlightcs  修改HDFS系统中/user/sunlightcs⽬录所属组，选项-R递归执⾏，跟linux命令⼀样
hdfs dfs –chown [-R] /user/sunlightcs  修改HDFS系统中/user/sunlightcs⽬录拥有者，选项-R递归执⾏
hdfs dfs –chmod [-R] MODE /user/sunlightcs  修改HDFS系统中/user/sunlightcs⽬录权限，MODE可以为相应权限的3位数或+/-{rwx}，选项-R递归执⾏
hdfs dfs –count [-q] PATH  查看PATH⽬录下，⼦⽬录数、⽂件数、⽂件⼤⼩、⽂件名/⽬录名
hdfs dfs –cp SRC [SRC …] DST      将⽂件从SRC复制到DST，如果指定了多个SRC，则DST必须为⼀个⽬录
hdfs dfs –du PATH  显⽰该⽬录中每个⽂件或⽬录的⼤⼩
hdfs dfs –dus PATH  类似于du，PATH为⽬录时，会显⽰该⽬录的总⼤⼩
hdfs dfs –expunge  清空回收站，⽂件被删除时，它⾸先会移到临时⽬录.Trash/中，当超过延迟时间之后，⽂件才会被永久删除
hdfs dfs –getmerge SRC [SRC …] LOCALDST [addnl]      获取由SRC指定的所有⽂件，将它们合并为单个⽂件，并写⼊本地⽂件系统中的LOCALDST，选项addnl将在每个⽂件的末尾处加上⼀个换⾏符
hdfs dfs –touchz PATH  创建长度为0的空⽂件
hdfs dfs –test –[ezd] PATH    对PATH进⾏如下类型的检查：  -e PATH是否存在，如果PATH存在，返回0，否则返回1  -z ⽂件是否为空，如果长度为0，返回0，否则返回1  -d 是否为⽬录，如果PATH为⽬录，返回0，否则返回1
hdfs dfs –text PATH  显⽰⽂件的内容，当⽂件为⽂本⽂件时，等同于cat，⽂件为压缩格式（gzip以及hadoop的⼆进制序列⽂件格式）时，会先解压缩    hdfs dfs –help ls  查看某个[ls]命令的帮助⽂档

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。