Hbase统计⾏数的四种⽅式
1.shell中执⾏count的命令:
count ‘t1′, INTERVAL => 10, CACHE => 1000
INTERVAL为统计的⾏数间隔,默认为1000,CACHE为统计的数据缓存。这种⽅式效率很低,如果表⾏数很⼤的话不建议采⽤这种⽅式。
2.Hbase⾃带 mapreduce ⼯具类:
shell 中执⾏:$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter ‘tablename’
3.使⽤ coprocessor 新特性:
Configuration conf = ate();
hbase的特性有哪些HTable hTable = new HTable(conf, TableName.valueOf("T_REVIEW_MODULE"));
LongColumnInterpreter columnInterpreter = new LongColumnInterpreter();
AggregationClient aggregationClient = new AggregationClient(conf);
Scan scan = new Scan( Bytes("2018-07-01 12:12:12"), Bytes("2018-07-27 12:12:12"));
Long count = wCount(hTable, columnInterpreter, scan);
4.hive over hbase:⽤hive的语句创建hbase的关联表,可以直接在hive中执⾏sql语句统计hbase表的⾏数。创建关联表的语句:CREATE TABLE hive_hbase_1(key INT,value STRING)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("lumns.mapping"=":key,cf:val")
TBLPROPERTIES("hbase.table.name"="t_hive","hbase.table.pe"="binary");
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论