hadoop查看⽂件夹⼤⼩java,hadoopfs：du统计hdfs⽂件（⽬
录下⽂件）⼤⼩的⽤法
以下是我的使⽤hadoop fs -du统计⽂件时使⽤的记录：mysql下载下来是一个文件夹
[t@dv00938 ~]$ hadoop fs -ls /jc_rc/rc_hive_db/llcfpd_s_join_n_over0innerdoor_lishui
// :: INFO hdfs.PeerCache: SocketCache disabled.
Found items
-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000000_0
-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000001_0
-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000002_0
-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000003_0
-rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000004_0
-
rwxrwx---+ t_user t_user_group -- : /t_user/my_hive_db/my_hive_table_test01/000005_0
...
[t@dv00938 ~]$ hadoop fs -du /t_user/my_hive_db/my_hive_table_test01
// :: INFO hdfs.PeerCache: SocketCache disabled.
/t_user/my_hive_db/my_hive_table_test01/000000_0
/t_user/my_hive_db/my_hive_table_test01/000001_0
/t_user/my_hive_db/my_hive_table_test01/000002_0
/t_user/my_hive_db/my_hive_table_test01/000003_0
/t_user/my_hive_db/my_hive_table_test01/000004_0
/t_user/my_hive_db/my_hive_table_test01/000005_0
...
[t@dv00938 ~]$ hadoop fs -du -h /t_user/my_hive_db/my_hive_table_test01
// :: INFO hdfs.PeerCache: SocketCache disabled.
269.1 M /t_user/my_hive_db/my_hive_table_test01/000000_0
268.4 M /t_user/my_hive_db/my_hive_table_test01/000001_0
268.0 M /t_user/my_hive_db/my_hive_table_test01/000002_0
267.8 M /t_user/my_hive_db/my_hive_table_test01/000003_0
267.4 M /t_user/my_hive_db/my_hive_table_test01/000004_0
266.8 M /t_user/my_hive_db/my_hive_table_test01/000005_0
...
[t@dv00938 ~]$ hadoop fs -du -s /t_user/my_hive_db/my_hive_table_test01
// :: INFO hdfs.PeerCache: SocketCache disabled.
/
t_user/my_hive_db/my_hive_table_test01
[t@dv00938 ~]$ hadoop fs -du -s -h /t_user/my_hive_db/my_hive_table_test01
// :: INFO hdfs.PeerCache: SocketCache disabled.
27.9 G /t_user/my_hive_db/my_hive_table_test01
hadoop fs -count
[dx@d- conf]$ hadoop fs -count /user/dx/
/user/dx
[dx@d- conf]$ hadoop fs -count /user/dx/*
12 4 45844 /user/dx/.Trash
15 502 2382220393 /user/dx/.sparkStaging
1 2 28116579 /user/dx/base_data
45212 109771 23930279854 /user/dx/streaming
hadoop fs:du &; count统计hdfs⽂件(⽬录下⽂件)⼤⼩的⽤法
linux 系统统计⽬录下⽂件夹的⼤⼩
du -ah --max-depth=1    这个是我想要的结果  a表⽰显⽰⽬录下所有的⽂件和⽂件夹(不含⼦⽬录),h表⽰以⼈类能看懂的⽅式,max-depth表⽰⽬录的深度. du命令⽤来查看 ...
Linux上统计⽂件夹下⽂件个数以及⽬录个数
对于linux终端⽤户⽽⾔，统计⽂件夹下⽂件的多少是经常要做的操作，于我⽽⾔，我会经常在⾕歌搜索⼀个命令,“如何在linux统计⽂件夹的个数”，然后点击⾃⼰想要的答案，但是有时候不知道统计⽂件夹命令运 ...
linux 统计命令执⾏后的⾏数或者统计⽬录下⽂件数⽬
ls |wc 是统计你这个⽬录下的⽂件数⽬.ls |wc -l是输出第⼀个结果即31即⽂件的数⽬.
Linux 统计⽂件夹下⽂件个数及⽬录个数
1. 统计⽂件夹下⽂件的个数 ls -l | grep "^-" | wc -l
2.统计⽂件夹下⽬录的个数 ls -l | grep "^d" | wc -l ...
Linux中/proc⽬录下⽂件详解
Linux中/proc⽬录下⽂件详解&lpar；转贴)
Centos-显⽰⽬录或者⽬录下⽂件信息-ls
ls 显⽰指定⽬录信息或指定⽬录下⽂件和⽬录信息，后边不跟⽂件⽬录路径信息默认为当前⼯作⽬录 默认显⽰输出信息的总⾏数统计数 相关参数 -a 显⽰所有⽂件或⼦⽬录，包含隐藏⽂档 # linux中以 . ...
Linux统计某⽂件夹下⽂件、⽂件夹的个数
统计某⽂件夹下⽂件的个数 ls -l |grep "^-"|wc -l 统计某⽂件夹下⽬录的个数 ls -l |grep "^d"|wc -l 统计⽂件夹下⽂件 ...
随机推荐
Hadoop集datanode磁盘不均衡的解决⽅案
⼀.引⾔: Hadoop的HDFS集⾮常容易出现机器与机器之间磁盘利⽤率不平衡的情况,⽐如集中添加新的数据节点，节点与节点之间磁盘⼤⼩不⼀样等等.当hdfs出现不平衡状况的时候，将引发很多问题,⽐ ...
【processing】⼩代码3
⿏标响应: mouseX, mouseY ⿏标的坐标 ---------------------------------------------- void setup() { size(,); sm ...
Ubuntu mysql
To install mysql database in the ubuntu:    1. sudo apt-get install mysql-server 2. apt-get isntall ...
Sublime Text的使⽤代码块安装的模块
在众多的开发⼯具IDE当中.作者现在唯独深爱sublime text(以下简称st).以前做后台开发使⽤visual studio(以下简称vs)，以及实⾏前后端分⼯也是配合后台使⽤vs.这⾥要讲述两 ...
截取指定长度汉字超出部分以指定的字符代替
下⾯是我在⽹上搜索，然后加以整理的关于在中截取指定长度汉字超出部分以指定的字符代替，来拓展⼀下⾃⼰的思路. ⽅法⼀ ：在后台的select语句中直接操作或是在数据库中写⼀个存储过程 Selec ...
android 常⽤颜⾊
2017-2018-1 1623 bug终结者 冲刺006
bug终结者 冲刺006 by 20162328 蔡⽂琛 今⽇任务:⾳频素材添加 ⼜是新的⼀天,⼩组项⽬有了很⼤的起⾊，已经可以在⼿机上试玩了. 添加背景⾳乐能使我们的游戏锦上添花. ⾳频资源需求 需 ...
phpstorm 配置git上传代码到 码云
⽅法⼀: 1.安装git,⼀路next下去. git安装完⾃带右键菜单 2.看⼀下phpstorm⾥的路径是否正确. 3.使⽤phpstorm管理代码库 新建，从码云上已有的公开项⽬克隆⼀份到本地: ...
MySQL更改relay-bin名称导致同步停⽌的解决办法
今天在优化io的时候，移动了从库relay-bin的位置，并将hostname部分去掉了，启动后，从库slave状态如下: mysql> show slave status\G; ******* ...

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。