HDFS:
基操:
1.打开虚拟机,进入Linux系统。
2.启动hadoop:cd /usr/local/hadoop
./sbin/start-dfs.sh
3.开启hdfs:start-dfs.sh
4.查看在终端中我们操作HDFS的命令
5.命令行客户端支持的命令参数
6.对目录进行操作
7.对文件进行操作
主要操作过程:
打开Hadoop:
cd /usr/local/hadoop
./sbin/start-dfs.sh
查看在终端中我们操作HDFS的命令:
hdfs dfs
创建目录:
hdfs dfs -mkdir /input
查看HDFS上的目录:
hdfs dfs -ls /
hdfs dfs -ls /user
hdfs dfs -ls -R /
删除目录:
hdfs dfs -rm -r /input
上传文件:
hdfs dfs -mkdir /input
hdfs dfs -put /apps/hadoop/etc/hadoop/*.xml /input
hdfs dfs -ls /input
下载文件:
mkdir /root/input
hdfs dfs -get /input/*.xml /root/input
ls /root/input
复制文件:
hdfs dfs -mkdir /in
hdfs dfs -cp /input/*. xml /in
hdfs dfs -ls /in
修改文件名:
hdfs dfs -mv /in /in_put
hdfs dfs -ls /
修改文件权限,所属主,
hdfs dfs -mkdir /mydata
hdfs dfs -ls /
hdfs dfs -chmod 777 /mydata
hdfs dfs -chown hadoop:hadoop /mydata
疑难小结:
1、集启动后,可以查看文件,但是上传文件时报错,打开web页面可看到namenode正处于safemode状态,怎么处理?hadoop安装与使用实验报告
1 ## 模拟场景如下
2 [yun@mini04 ~]$ hdfs dfsadmin -safemode get
3 Safe mode is OFF
4 [yun@mini04 ~]$ hdfs dfsadmin -safemode enter
5 Safe mode is ON
6 [yun@mini04 ~]$ hdfs dfsadmin -safemode get
7 Safe mode is ON
8 [yun@mini04 ~]$ hdfs dfsadmin -safemode leave # 关闭safemode状态
9 Safe mode is OFF
10 [yun@mini04 ~]$ hdfs dfsadmin -safemode get
11 Safe mode is OFF
2、hadoop datanode节点超时时间设置?
datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout,则超时时长的计算公式为:
timeout = 2 * heck.interval + 10 * dfs.heartbeat.interval。
而默认的heck.interval 大小为5分钟,dfs.heartbeat.interval默认为3秒。
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论