Hbase的安装与基本操作
简介:
1安装 HBase
本节介绍HBase的安装⽅法,包括下载安装⽂件、配置环境变量、添加⽤户权限等。
1.1 下载安装⽂件
HBase是Hadoop⽣态系统中的⼀个组件,但是,Hadoop安装以后,本⾝并不包含HBase,因此,需要单独安装HBase。
hbase-1.1.
假设已经下载了HBase安装⽂件hbase-1.1.,被放到了Linux系统的“/home/hadoop/下载/”⽬录下。
进⼊下载⽬录,需要对⽂件进⾏解压。按照Linux系统使⽤的默认规范,⽤户安装的软件⼀般都是存放在“/usr/local/”⽬录下。$ cd  ~/下载
$ sudo tar -zxf ~/下载/hbase-1.1. -C /usr/local
将解压的⽂件名hbase-1.1.5改为hbase,以⽅便使⽤,命令如下:
$ sudo mv /usr/local/hbase-1.1.5 /usr/local/hbase
1.2 配置环境变量
将HBase安装⽬录下的bin⽬录(即/usr/local/hbase/bin)添加到系统的PATH环境变量中,这样,每次启动HBase时就不需要
到“/usr/local/hbase”⽬录下执⾏启动命令,⽅便HBase的使⽤。请使⽤vim编辑器打开“~/.bashrc”⽂件,命令如下:
$ vim ~/.bashrc
⽂件以后,添加
添加PATH路径时只需要加上":路径"即可,下⾯这条命令是添加了三条路径,配置的是hadoop和hbasd的打开.bashrc⽂件以后,
启动路径
export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/bin:/usr/local/hbase/bin
添加后,执⾏如下命令使设置⽣效:
$ source ~/.bashrc
1.3 添加⽤户权限
需要为当前登录Linux系统的hadoop⽤户(我的⽤户是msq)添加访问HBase⽬录的权限,将HBase安装⽬录下的所有⽂件的所有者改为msq,命令如下:
$ cd  /usr/local
$ sudo  chown  -R  msq  ./hbase
1.4 查看HBase版本信息
可以通过如下命令查看HBase版本信息,以确认HBase已经安装成功:
$ /usr/local/hbase/bin/hbase version
2 HBase的配置
HBase有三种运⾏模式,即单机模式、伪分布式模式和分布式模式:
单机模式:采⽤本地⽂件系统存储数据;
伪分布式模式:采⽤伪分布式模式的HDFS存储数据;
分布式模式:采⽤分布式模式的HDFS存储数据。
本教程仅介绍单机模式和伪分布式模式。
在进⾏HBase配置之前,需要确认已经安装了三个组件:JDK、Hadoop、SSH。
HBase单机模式不需要安装Hadoop,伪分布式模式和分布式模式需要安装Hadoop。
2.1 单机模式配置
2.1.1配置hbase-env.sh⽂件
使⽤vim编辑器打开“/usr/local/hbase/conf/hbase-env.sh”,命令如下:(或者可以直接在⽂件中⽤Gre打开)
$ vim /usr/local/hbase/conf/hbase-env.sh
打开hbase-env.sh⽂件以后,需要在hbase-env.sh⽂件中配置JAVA环境变量。此外,还需要添加Zookeeper配置信息,配置HBASE_MANAGES_ZK为true,表⽰由 HBase⾃⼰管理Zookeeper,不需要单独的Zookeeper,由于hbase-env.sh⽂件中本来就存在这些变量的配置,因此,只需要删除前⾯的注释“#”符号并修改配置内容即可,修改后的hbase-env.sh⽂件应该包含如下两⾏信息:
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export HBASE_MANAGES_ZK=true
修改完成以后,保存hbase-env.sh⽂件并退出vim编辑器。
2.1.2配置l⽂件
使⽤vim编辑器打开并编辑“/usr/local/hbase/l”⽂件,命令如下:
$ vim /usr/local/hbase/l
在l⽂件中,需要设置属性dir,⽤于指定HBase数据的存储位置,如果没有设置,则dir默认
为/tmp/hbase-${user.name},这意味着每次重启系统都会丢失数据。这⾥把dir设置为HBase安装⽬录下的hbase-tmp⽂件夹,即“/usr/local/hbase/hbase-tmp”,修改后的l⽂件中的配置信息如下:
<configuration>
<property>
<name&dir</name>
<value>file:///usr/local/hbase/hbase-tmp</value>
</property>
</configuration>
保存l⽂件,并退出vim编辑器。
2.1.3启动运⾏HBase现在就可以测试运⾏HBase,命令如下:
$ cd /usr/local/hbase
$ start-hbase.sh  #启动HBase
$ hbase shell  #进⼊HBase shell命令⾏模式
进⼊HBase Shell命令⾏模式以后,⽤户可以通过输⼊Shell命令操作HBase数据库。
2.1.4可以使⽤如下命令停⽌HBase运⾏:
$ stop-hbase.sh
2.2 伪分布式配置
2.2.1配置hbase-env.sh⽂件
使⽤vim编辑器打开“/usr/local/hbase/conf/hbase-env.sh”,命令如下:
$ vim /usr/local/hbase/conf/hbase-env.sh
打开hbase-env.sh⽂件以后,需要在hbase-env.sh⽂件中配置JAVA_HOME、HBASE_CLASSPATH和HBASE_MANAGES_ZK。其中,HBASE_CLASSPATH设置为本机Hadoop安装⽬录下的conf⽬录(即/usr/local/hadoop/conf)。JAVA_HOME和
HBASE_MANAGES_ZK的配置⽅法和上⾯单机模式的配置⽅法相同。修改后的hbase-env.sh⽂件应该包含如下三⾏信息:
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export HBASE_CLASSPATH=/usr/local/hadoop/conf
export HBASE_MANAGES_ZK=true
修改完成以后,保存hbase-env.sh⽂件并退出vim编辑器
2.2.2配置l⽂件
使⽤vim编辑器打开并编辑“/usr/local/hbase/l”⽂件,命令如下:
$ vim /usr/local/hbase/l
在l⽂件中,需要设置属性dir,⽤于指定HBase数据的存储位置。在HBase伪分布式模式中,是使⽤伪分布式模式的HDFS存储数据,因此,需要把dir设置为HBase在HDFS上的存储路径,根据Hadoop伪分布式模式的配置可以知道,HDFS的访问路径为“hdfs://localhos
t:9000/”,因为,这⾥设置dir为“hdfs://localhost:9000/hbase”。此外,由于采⽤了伪分布式模式,因此,还需要将属性hbase.cluter.distributed设置为true。修改后的l⽂件中的配置信息如下:
<configuration>
<property>
<name&dir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
</configuration>
保存l⽂件,并退出vim编辑器。
2.2.3启动运⾏HBase
⾸先登陆SSH,由于之前在“Hadoop的安装和使⽤”中已经设置了⽆密码登录,因此这⾥不需要密码。然后,切换
⾄“/usr/local/hadoop”,启动Hadoop,让HDFS进⼊运⾏状态,从⽽可以为HBase存储数据,具体命令如下:
$ ssh localhost
$ cd /usr/local/hadoop
$ start-dfs.sh
输⼊命令jps,如果能够看到NameNode、DataNode和SecondaryNameNode这三个进程,则表⽰已经成功启动Hadoop。
然后,启动HBase,命令如下:
$ cd /usr/local/hbash
$ start-hbase.sh
输⼊命令jps,如果出现以下进程,则说明HBase启动成功:
Jps、HMaster、HQuorumPeer、NameNode、HRegionServer、SecondaryNameNode、DataNode
现在就可以进⼊HBase Shell模式,命令如下:
$ bin/hbase shell  #进⼊HBase shell命令⾏模式
进⼊HBase shell命令⾏模式以后,⽤户可以通过输⼊shell命令操作HBase数据库。
停⽌运⾏HBase最后,可以使⽤如下命令停⽌HBase运⾏:
$ stop-hbase.sh
如果在操作HBase的过程中发⽣错误,可以查看{HBASE_HOME}⽬录(即/usr/local/hbase)下的logs⼦⽬录中的⽇志⽂件,来寻可能的错误原因。
关闭HBase以后,如果不再使⽤Hadoop,就可以运⾏如下命令关闭Hadoop:
$ cd /usr/local/hadoop
$ stop-dfs.sh
最后需要注意的是,启动关闭Hadoop和HBase的顺序⼀定是:启动Hadoop—>启动HBase—>关闭HBase—>关闭Hadoop。
3 HBase常⽤Shell命令
在使⽤具体的Shell命令操作HBase数据之前,需要⾸先启动Hadoop,然后再启动HBase,并且启动HBase Shell,进⼊Shell命令提⽰符状态,具体命令如下:
$ cd /usr/local/hadoop
$ start-dfs.sh
$ cd /usr/local/hbase
$ start-hbase.sh
3.1在HBase中创建表
假设这⾥要创建⼀个表student,该表包含Sname、Ssex、Sage、Sdept、course等字段。需要注意的是,在关系型数据库(⽐如MySQL)中,需要⾸先创建数据库,然后再创建表,但是,在HBase数据库中,不需要创建数据库,只要直接创建表就可以。在HBase中创建student表的Shell命令如下:
hbase> create 'student','Sname','Ssex','Sage','Sdept','course'
对于HBase⽽⾔,在创建HBasae表时,不需要⾃⾏创建⾏健,系统会默认⼀个属性作为⾏键,通常是把put命令操作中跟在表名后的第⼀个数据作为⾏健。
创建完“student”表后,可通过describe命令查看“student”表的基本信息,命令如下:
hbase>describe ‘student’
可以使⽤list命令查看当前HBase数据库中已经创建了哪些表,命令如下:
hbase> list
3.2 添加数据
HBase使⽤put命令添加数据,⼀次只能为⼀个表的⼀⾏数据的⼀个列(也就是⼀个单元格,单元格是HBase中的概念)添加⼀个数据,所以,直接⽤Shell命令插⼊数据效率很低,在实际应⽤中,⼀般都是利⽤编程操作数据。因为这⾥只要插⼊1条学⽣记录,所以,我们可以⽤Shell命令⼿⼯插⼊数据,命令如下:
hbase> put 'student','95001','Sname','LiYing'
vim编辑器下载与安装上⾯的put命令会为student表添加学号为'95001'、名字为'LiYing'的⼀个单元格数据,其⾏键为95001,也就是说,系统默认把跟在表名student后⾯的第⼀个数据作为⾏健。
下⾯继续添加4个单元格的数据,⽤来记录LiYing同学的相关信息,命令如下:
hbase> put 'student','95001','Ssex','male'
hbase> put 'student','95001','Sage','22'
hbase> put 'student','95001','Sdept','CS'
hbase> put 'student','95001','course:math','80'
3.3 查看数据
HBase中有两个⽤于查看数据的命令:
get命令:⽤于查看表的某⼀个单元格数据;scan命令:⽤于查看某个表的全部数据。⽐如,可以使⽤如下命令返回student表中95001⾏的数据:
hbase> get 'student','95001'
使⽤scan命令查询student表的全部数据:
hbase> scan 'student'
3.4 删除数据
在HBase中⽤delete以及deleteall命令进⾏删除数据操作,⼆者的区别是:delete命令⽤于删除⼀个单元格数据,是put的反向操作,⽽ deleteall命令⽤于删除⼀⾏数据。
⾸先,使⽤delete命令删除student表中95001这⾏中的Ssex列的所有数据,命令如下:
hbase > delete 'student','95001','Ssex'
然后,使⽤deleteall命令删除student表中的95001⾏的全部数据,命令如下:
hbase> deleteall 'student','95001'
3.5 删除表
删除表需要分两步操作,第⼀步先让该表不可⽤,第⼆步删除表。⽐如,要删除student表,可以使⽤如下命令:
hbase> disable 'student'
hbase> drop 'student'
3.6 查询历史数据
在添加数据时,HBase会⾃动为添加的数据添加⼀个时间戳。在修改数据时,HBase会为修改后的数据⽣成⼀个新的版本(时间戳),从⽽完成“改”操作,旧的版本依旧保留,系统会定时回收垃圾数据,只留下最新的⼏个版本,保存的版本数可以在创建表的时候指定。
为了查询历史数据,这⾥创建⼀个teacher表,⾸先,在创建表的时候,需要指定保存的版本数(假设指定为5),命令如下:hbase> create 'teacher',{NAME=>'username',VERSIONS=>5}
然后,插⼊数据,并更新数据,使其产⽣历史版本数据,需要注意的是,这⾥插⼊数据和更新数据都是使⽤put命令,具体如下:hbase> put 'teacher','91001','username','Mary'
hbase> put 'teacher','91001','username','Mary1'
hbase> put 'teacher','91001','username','Mary2'
hbase> put 'teacher','91001','username','Mary3'
hbase> put 'teacher','91001','username','Mary4'
hbase> put 'teacher','91001','username','Mary5'
查询时,默认情况下回显⽰当前最新版本的数据,如果要查询历史数据,需要指定查询的历史版本数,由于上⾯设置了保存版本数为5,所以,在查询时制定的历史版本数的有效取值为1到5,具体命令如下:
hbase> get 'teacher','91001',{COLUMN=>'username',VERSIONS=>5}
hbase> get 'teacher','91001',{COLUMN=>'username',VERSIONS=>3}
3.7 退出HBase数据库
最后退出数据库操作,输⼊exit命令即可退出,命令如下:
hbase> exit
仍然在后台运⾏。。
注意,这⾥退出HBase数据库是退出HBase Shell,⽽不是停⽌HBase数据库后台运⾏,执⾏exit后,HBase仍然在后台运⾏

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。