HBase启⽤压缩
1. 压缩算法的⽐较
算法压缩⽐压缩解压GZIP13.4%21MB/s118MB/s LZO20.5%135MB/s410MB/s Snappy/Zippy22.2%172MB/s409MB/s 总结:
1)GZIP的压缩率最⾼,但它是CPU密集型的,对CPU的消耗较多,压缩和解压速度也慢;
2)LZO的压缩率居中,⽐GZIP要低⼀些,但是压缩和解压速度明显要⽐GZIP快很多,其中解压速度快的更
多;
3)Zippy/Snappy的压缩率最低,⽽压缩和解压速度要稍微⽐LZO要快⼀些
所以,⼀般情况下,推荐使⽤Snappy和Zippy压缩算法。
2. hbase表启⽤压缩的步骤
这⾥分为两种情况:⼀是在创建表时指定压缩算法;⼆是在创建表后指定压缩算法或者修改压缩算法。
2.1 创建表时指定压缩算法
create 'test', {NAME => 'info', VERSIONS => 1, COMPRESSION => 'snappy'}
# 表创建之后,使⽤describe命令查看表信息
describe 'test'
2.2 创建表后指定或修改压缩算法
1. disable需要修改的表
disable 'test'
注意,如果表较⼤,disable需要⼀些时间,请耐⼼等待
2) 使⽤alter命令进⾏更改
alter 'test', NAME => 'info', COMPRESSION => 'snappy'
NAME即column family,列族。HBase修改压缩格式,需要⼀个列族⼀个列族的修改,注意⼤⼩写,不
要弄错了。如果修改错了,将会创建⼀个新的列族,且压缩格式为snappy。当然,假如你还是不⼩⼼创建了⼀个新列族的话,可以通过以下⽅式删除:
alter 'test', {NAME=>'info', METHOD=>'delete'}
3. 重新enable表
enable 'test'
hbase为什么查询快4. 对表进⾏major_compact操作,使压缩⽣效
major_compact 'test'
注意,如果表的数据较多,该操作需要较长时间,所以尽量选择⼀个不忙的时间,避免对服务造成影响。
修改完成后,可使⽤describe命令查看表信息
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论