shell命令执⾏hive脚本（hive交互，hive的shell编程）Hive执⾏⽅式
Hive的hql命令执⾏⽅式有三种：
1、CLI ⽅式直接执⾏
2、作为字符串通过shell调⽤hive –e执⾏（-S开启静默，去掉”OK”，”Time taken”）
3、作为独⽴⽂件，通过shell调⽤ hive –f或hive –i执⾏执⾏
⽅式1
键⼊“hive”，启动hive的cli交互模式。Set可以查看所有环境设置参数，并可以重设。其他命令如，
Use database 选择库
quit/exit 退出Hive的交互模式
set –v 显⽰Hive中的所有变量
set <key>=<value> 设置参数
执⾏本地shell ：!<cmd> 交互模式下可执⾏shell命令，例如（查看linux根⽬录下⽂件列表："!ls -l /;"）
操作云命令：dfs < command> 交互模式下直接操作hadoop命令如 dfs fs –ls
Hql语句执⾏查询并输出到标准输出
add [FILE|JAR|ARCHIVE] <value> [<value>]* 增加⼀个⽂件到资源列表
list FILE 列出所有已经添加的资源
⽅式⼆
Hql作为字符串在shell脚本中执⾏，如
hive -e "use ${database};select * from tb"
查询结果可以直接导出到本地本件（默认分隔符为\t）:
hive -e "select * from tb" > tb.txt
如果需要查看执⾏步骤，则在命令前⾯添加
set –x
另外，在shell脚本中，字符串有两种定义⽅式:
1) 直接定义字符串对象：sql=”字符串”
2) 通过命令定义：sql=$(cat <<endtag 字符串endtag)⽅式可以将字符串复制给sql，执⾏hql命令的shell脚本如下：
>## execute hive >#
sql=$(cat <<!EOF
USE pmp;
set mapred.queue.names=queue3;
drop table if exists people_targeted_delivery;
create table people_targeted_delivery
( special_tag_id int,
cnt bigint
);
INSERT OVERWRITE LOCAL DIRECTORY '$cur_path/people_targeted_delivery'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
select special_tag_id,count(1)
from t_pmp_special_user_tags
group by special_tag_id;
!EOF)
>>## execute begin >>#
echo $sql
$HIVE_HOME/bin/hive -e "$sql"
exitCode=$?
if [ $exitCode -ne 0 ];then
echo "[ERROR] hive execute failed!"
exit $exitCode
fi
⽅式三
将hql语句保存为独⽴⽂件，后缀名不限制，可以⽤.q或者.hql作为标识：
A，这个⽂件在cli模式下，⽤source命令执⾏，如：source ./mytest.hql
B，在shell中执⾏命令，如：hive -f mytest.sql
Hive指定预执⾏⽂件命令“hive –i”（或叫初始化⽂件）
命令：hive -i hive-script.sql
在hive启动cli之前，先执⾏指定⽂件（hive-script.sql）中的命令。
也就是说，允许⽤户在cli启动时预先执⾏⼀个指定⽂件，⽐如，有⼀些常⽤的环境参数设置，频繁执⾏的命令，可以添加在初始化⽂件中，⽐如，某些参数设置
set mapred.queue.names=queue3;
duce.tasks=14;
添加udf⽂件
add JAR ./playdata-hive-udf.jar;
设置Hive的⽇志级别
hive -logger=INFO;
shell代码
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
如何让批处理程序启动的时候最小化
« 上一篇
发表评论