shell命令执⾏hive脚本（hive交互）
⽬录
Hive执⾏⽅式
⽅式1
⽅式⼆
⽅式三
Hive执⾏⽅式
Hive的hql命令执⾏⽅式有三种：
1、CLI ⽅式直接执⾏
2、作为字符串通过shell调⽤hive –e执⾏（-S开启静默，去掉”OK”，”Time taken”）
3、作为独⽴⽂件，通过shell调⽤ hive –f或hive –i执⾏执⾏
⽅式1
键⼊“hive”，启动hive的cli交互模式。Set可以查看所有环境设置参数，并可以重设。其他命令如，
Use database 选择库
quit/exit 退出Hive的交互模式
set –v 显⽰Hive中的所有变量
set <key>=<value> 设置参数
执⾏本地shell ：!<cmd> 交互模式下可执⾏shell命令，例如（查看linux根⽬录下⽂件列表："!ls -l /;"）
操作云命令：dfs < command> 交互模式下直接操作hadoop命令如 dfs fs –ls
Hql语句执⾏查询并输出到标准输出
add [FILE|JAR|ARCHIVE] <value> [<value>]* 增加⼀个⽂件到资源列表
list FILE 列出所有已经添加的资源
shell脚本返回执行结果
⽅式⼆
Hql作为字符串在shell脚本中执⾏，如
hive -e "use ${database};select * from tb"
查询结果可以直接导出到本地本件（默认分隔符为\t）:
hive -e "select * from tb" > tb.txt
如果需要查看执⾏步骤，则在命令前⾯添加
set –x
另外，在shell脚本中，字符串有两种定义⽅式:
1) 直接定义字符串对象：sql=”字符串”
2) 通过命令定义：sql=$(cat <<endtag 字符串endtag)⽅式可以将字符串复制给sql，执⾏hql命令的shell脚本如下：>## execute hive >#
sql=$(cat <<!EOF
USE pmp;
set mapred.queue.names=queue3;
drop table if exists people_targeted_delivery;
create table people_targeted_delivery
( special_tag_id int,
cnt bigint
);
INSERT OVERWRITE LOCAL DIRECTORY '$cur_path/people_targeted_delivery'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
select special_tag_id,count(1)
from t_pmp_special_user_tags
group by special_tag_id;
!EOF)
>>## execute begin >>#
echo $sql
$HIVE_HOME/bin/hive -e "$sql"
exitCode=$?
if [ $exitCode -ne 0 ];then
echo "[ERROR] hive execute failed!"
exit $exitCode
fi
⽅式三
将hql语句保存为独⽴⽂件，后缀名不限制，可以⽤.q或者.hql作为标识：
A，这个⽂件在cli模式下，⽤source命令执⾏，如：source ./mytest.hql
B，在shell中执⾏命令，如：hive -f mytest.sql
Hive指定预执⾏⽂件命令“hive –i”（或叫初始化⽂件）
命令：hive -i hive-script.sql
在hive启动cli之前，先执⾏指定⽂件（hive-script.sql）中的命令。
也就是说，允许⽤户在cli启动时预先执⾏⼀个指定⽂件，⽐如，有⼀些常⽤的环境参数设置，频繁执⾏的命令，可以添加在初始化⽂件中，⽐如，某些参数设置
set mapred.queue.names=queue3;
duce.tasks=14;
添加udf⽂件
add JAR ./playdata-hive-udf.jar;
设置Hive的⽇志级别
hive -logger=INFO;
到此这篇关于shell命令执⾏hive脚本(hive交互)的⽂章就介绍到这了，更多相关shell命令执⾏hive内容请搜索以前的⽂章或继续浏览下⾯的相关⽂章希望⼤家以后多多⽀持！
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
Shell脚本编写的高级技巧使用错误处理机制
« 上一篇
macOS终端命令如何在终端中执行脚本文件
下一篇 »
发表评论