⼤数据仓库，Hive的安装详细步骤
⼤数据数据仓库，⼀般来说底层都是建设在hive当中，利⽤hadoop的hdfs分布式⽂件系统，可以替代传统的mysql和
oracle等数据库，进⽽来存储上百TB、PB等级别的⼤数据集。如果公司业务中，每天数据增长多，也可以使⽤hive存储数据。跟传统的关系型数据库不同，hive数据存储在hdfs上，底层使⽤mapreduce计算数据，主要做⼤数据的分析使⽤。
在hadoop集上安装hive
⼀，先在linux上安装mysql，存储hive元数据信息。
1、通过下⾯的命令，获取mysql 源安装包，直接复制，浏览器打开下载即可
sql/arch.rpm
2、在Linux上安装刚下载的 mysql 源
rpm -arch.rpm
3、使⽤命令，检查mysql源是否安装成功
yum repolist enabled | grep "mysql.*-community.*"
4、使⽤ yum 命令安装mysql
yum install mysql-community-server
5、配置mysql的⽂件⽬录信息
使⽤下⾯的命令，查看mysql配置⽂件加载顺序：
mysqld --help --verbose|grep -A1 -B1 cnf
修改根⽬录 /etc/myf 配置⽂件内的⽂件⽬录
datadir=/data/mysql/datasql_mode=STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTIONlog-error=/data/mysql/log/mysqld.log
注意：
SQL_MODE：通过对其正确的设置可以完成⼀些约束检查的⼯作，设置时，在配置⽂件myf 中配置进⾏全局的设置。
STRICT_TRANS_TALES（严格模式）：只对⽀持事务的表启⽤严格模式。
NO_AUTO_CREATE_USER：禁⽌GRANT创建密码为空的⽤户。
NO_ENGINE_SUBSTITUTION：启⽤后，若需要的存储引擎被禁⽤或未编译，则抛出错误；未启⽤时将⽤默认的存储引擎代替，并抛出⼀个异常。
6、创建 mysql 的⽂件⽬录
mkdir -p /data/mysql/datamkdir -p /data/mysql/log
7、使⽤下⾯的命令⽣成⾸次登录的随机密码
mysqld --initialize
通过上⾯命令会在 /data/mysql/log/mysqld.log 中⽣成随机码，随机码⽤来⾸次登录mysql。
8、修改mysql ⽂件⽬录的权限，把所有者修改为 mysql ⽤户
chown -R mysql:mysql /data/mysql
9、启动mysql
systemctl start mysqld.service
10、 关闭并重启mysql
systemctl stop mysqld.servicesystemctl start mysqld.service
请注意：如果再次启动报错，就重启Linux 系统。
11、⽤⽣成的随机密码登录mysql
mysql -uroot -p xxx
12、使⽤mysql密码
⽤⽣成的随机密码登录进⼊ mysql 命令⾏后，需要重置密码，以确保账户安全。
在重置密码时，如果不想密码设置得那么复杂，需要设置validate_password_policy 参数：
rpm -qa | grep -i mysql
这样，判断密码的标准就基于密码的长度了，这个由validate_password_length参数来决定。
validate_password_length默认是8所以密码长度必须⼤于8。
设置密码：
set password=PASSWORD('1234abcd')
设置完密码后，⽤新密码重新登录。因为mysql5.7是默认安装validate_password插件 ，那么如何验证validate_password插件是否安装呢？可通过查看以下参数，如果没有安装，则输出将为空。
rpm -qa | grep -i mysql
安装mysql错误解决：报错解决，如果启动⼀直报错，根据报错原因解决不了问题了，可以直接卸载mysql，然后重新安装。
使⽤下⾯的命令 查看已经安装过的组件：
yum -y arch yum -y remove mysql-community-commo
n-5.7.19-
1.el7.x86_64
之后⽤yum -y remove 卸载所有跟mysql有关的组件
yum -y arch yum -y remove mysql-community-common-5.7.19-
1.el7.x86_64
卸载后再⽤ rpm -qa | grep -i mysql 查看是否全部卸载完毕。
删除/data/mysql ⽬录
rm -rf /data/mysql
⼆、 在linux上安装 hive
1、⽤root⽤户上传并解压hive的tar安装包，可以使⽤xftp上传安装包。
#解压到/usr/local/⽬录下tar -xzf ./apache-hive-2.1. -C /usr/local/
2、创建hive-2.1.1-bin的软链接
ln -s /usr/local/apache-hive-2.1.1-bin /usr/local/hive
3、修改/usr/local/hive/apache-hive-2.1.1-bin⽬录所有者为hadoop⽤户
chown -R hadoop:hadoop /usr/local/apache-hive-2.1.1-bin
4、配置环境变量
增加HIVE_HOME和HIVE_CONF_DIR
export HIVE_HOME=/usr/local/hiveexport HIVE_CONF_DIR=/usr/local/hive/conf
使⽤下⾯的命令，更新刚配置的环境变量：source /etc/profile
5、修改配置
切换到hadoop⽤户，修改hive配置在/usr/local/hive/conf⽬录。先备份原来的配置：
cp -R /usr/local/hive/conf  /usr/local/hive/conf_back
上传l 到 /user/local/hive/conf/ ⽬录下。
把plate和mv plate改名为如下名：
mv plate hive-env.shhive-log4j2.properties
6、在mysql中创建hive⽤的数据库和hive⽤户
--登录mysqlmysql -uroot -p'1234abcd'                            set global validate_password_policy=0;--创建hive⽤户CREATE USER 'hive'@'%' IDENTIFIED BY '1234abcd';--在mysql中创建hive_meta数据库
create database hive_meta default charset utf8 collate utf8_general_ci;--给hive⽤户增加hive_meta数据库权限grant all privileges on hive_meta.* to 'hive'@'%' identified by '1234abcd';--更新配置flush privileges;
7、拷贝mysql驱动jar包 到/usr/local/hive/lib/
8、如果报错，删除冲突的log4j⽇志包
rm -f /usr/local/hive/lib/log4j-slf4j-impl-2.4.1.jar
9、在HDFS上创建hive使⽤的数据⽬录
hadoop fs -mkdir -p /hive/warehousehadoop fs -chmod -R 777 /hive
10、hive初始化mysql
mysql下载jar包schematool -dbType mysql -initSchema
11、给mysql中root⽤户开通所有权限，⽅便在客户端进⾏查看
grant all privileges  on *.* to root@'%' identified by "1234abcd";#更新配置使之⽣效flush privileges;
使⽤客户端查看，看hive_meta库中是否已经初始化好hive表。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。