Linux操作HDFS集常⽤命令命令⾏语句：
vi .bashrc
source .bashrc
ssh-keygen -t rsa
集命令
hdfs dfs -mkdir /data
hdfs dfs -ls /
hdfs dfs -put 本地⽂件 hdfs集上的⽬录
hdfs dfs -ls -R hdfs集上⽂件⽬录
yarn集上传⽂件
yarn jar **.jar wordcount
reboot重启
hdfs --daemon start namenode
hdfs --daemon start datanode
ssh命令行hdfs --daemon stop namenode
hdfs --daemon stop datanode
yarn --daemon start resourcemanager
yarn --daemon start nodemanager
搭装集
1、修改主机名
  sudo vi /etc/hostname
  重启虚拟机才会⽣效
2、修改主机-IP映射
  sudo vi /etc/hosts
3、修改Hadoop的配置⽂件
  //将IP地址修改为集主节点的主机名
  [vi] l
  [vi] l
  [vi] workers
  启动hdfs集：⼀个namenode N个datanode
    start-dfs.sh
  产⽣密匙：ssh-keygen -t rsa
  将id_rsa中的内容拷贝到suthorized_keys中:
    cd ~/.ssh
    cat id_rsa.pub >> authorized_keys  //追加id_rsa.pub到authorized_keys中
  scp ~/.ssh/id_rsa.pub briup@manager:~ //
  scp briup@manager:~/.ssh/id_rsa.pub ~  //
  cat ~/id_rsa.pub >> ~/.ssh/authorized_keys  //追加id_rsa.pub到authorized_keys中4、删除Hadoop存储临时⽂件的⽬录
  rm -r /data
5、格式化namenode
  hadoop namenode -format
6、从主节点启动NameNode进程
  hdfs --daemon start namenode
7、从节点启动DataNode进程
  hdfs --daemon start datanode
8、访问hdfs页⾯，查看hdfs集的从节点是否挂载成功
9、主节点启动
  yarn --daemon start resourcemanager
10、从节点启动nodemanager进程
  yarn --daemon start nodemanager
数据 ---》磁盘
  磁盘地址
  计算机组成：kernel+shell+⽂件系统+应⽤
（分布式）⽂件系统借助⽹络编程
  将磁盘地址映射为⼀个⽂件路径
  D:/
  ⼀个⽂件切分为多个块⽂件，每个块存储在不同的数据节点datanode中。多个路径 
⽤户只需要根据⽂件路径，就可以操作⽂件
hdfs fsck / -files -blocks -locations

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。