Hive函数⼤全-完整版
Hive函数⼤全–完整版
现在虽然有很多SQL ON Hadoop的解决⽅案,像Spark SQL、Impala、Presto等等,但就⽬前来看,在基于Hadoop的⼤数据分析平台、数据仓库中,Hive仍然是不可替代的⾓⾊。尽管它的相应延迟⼤,尽管它启动MapReduce的时间相当长,但是它太⽅便、功能太强⼤了,做离线批量计算、ad-hoc查询甚⾄是实现数据挖掘算法,⽽且,和HBase、Spark都能整合使⽤。
如果你是做⼤数据分析平台和数据仓库相关的,就⽬前来说,我建议,Hive是必须的。
很早之前整理过Hive的函数,不过是基于0.7版本的,这两天抽时间更新了下,基于Hive0.13,⽐之前的完整了许多。
整理成⽂档,希望能给Hive初学者和Hive使⽤者有所帮助。Hive⾃带的UDF函数⾮常多,整理出来有40多页。下载地址在⽂章最后⾯。
如果该⽂档对你的学习和⼯作有所帮助,那么请多多⽀持我的博客。
Hive函数⼤全⽬录:
⼀、关系运算:
1. 等值⽐较: =
2. 等值⽐较:<=>
3. 不等值⽐较: <>和!=
4. ⼩于⽐较: <
5. ⼩于等于⽐较: <=
6. ⼤于⽐较: >
7. ⼤于等于⽐较: >=
8. 区间⽐较
9. 空值判断: IS NULL
10. ⾮空判断: IS NOT NULL
10. LIKE⽐较: LIKE
11. JAVA的LIKE操作: RLIKE
12. REGEXP操作: REGEXP
⼆、数学运算:
1. 加法操作: +
2. 减法操作: –
3. 乘法操作: *
4. 除法操作: /
5. 取余操作: %
6. 位与操作: &
7. 位或操作: |
8. 位异或操作: ^
9.位取反操作: ~
三、逻辑运算:
1. 逻辑与操作: AND 、&&
2. 逻辑或操作: OR 、||
3. 逻辑⾮操作: NOT、!
四、复合类型构造函数
1. map结构:map
2. struct结构:struct
3. named_struct结构:named_struct
4. array结构:array
5. create_union:create_union
五、复合类型操作符
1. 获取array中的元素:A[n]
2. 获取map中的元素:M[key]
3. 获取struct中的元素S.s
六、数值计算函数
1. 取整函数: round
2. 指定精度取整函数: round
3. 向下取整函数: floor
4. 向上取整函数: ceil
5. 向上取整函数: ceiling
6. 取随机数函数: rand
7. ⾃然指数函数: exp
8. 以10为底对数函数: log10
9. 以2为底对数函数: log2
10. 对数函数: log
11. 幂运算函数: pow
12. 幂运算函数: power
13. 开平⽅函数: sqrt
14. ⼆进制函数: bin
15. ⼗六进制函数: hex
16. 反转⼗六进制函数: unhex
17. 进制转换函数: conv
18. 绝对值函数: abs
19. 正取余函数: pmod
20. 正弦函数: sin
21. 反正弦函数: asin
22. 余弦函数: cos
23. 反余弦函数: acos
24. positive函数: positive
25. negative函数: negative
七、集合操作函数
1. map类型⼤⼩:size
2. array类型⼤⼩:size
3. 判断元素数组是否包含元素:array_contains
4. 获取map中所有value集合
5. 获取map中所有key集合
6. 数组排序
⼋、类型转换函数
1. ⼆进制转换:binary
2. 基础类型之间强制转换:cast
九、⽇期函数
1. UNIX时间戳转⽇期函数: from_unixtime
2. 获取当前UNIX时间戳函数: unix_timestamp
3. ⽇期转UNIX时间戳函数: unix_timestamp
4. 指定格式⽇期转UNIX时间戳函数: unix_timestamp
5. ⽇期时间转⽇期函数: to_date
6. ⽇期转年函数: year
7. ⽇期转⽉函数: month
8. ⽇期转天函数: day
9. ⽇期转⼩时函数: hour
10. ⽇期转分钟函数: minute
11. ⽇期转秒函数: second
12. ⽇期转周函数: weekofyear
13. ⽇期⽐较函数: datediff
14. ⽇期增加函数: date_add
15. ⽇期减少函数: date_sub
⼗、条件函数
1. If函数: if
2. ⾮空查函数: COALESCE
3. 条件判断函数:CASE
4. 条件判断函数:CASE
⼗⼀、字符串函数
1.    字符ascii码函数:ascii
2.    base64字符串
3. 字符串连接函数:concat
4.    带分隔符字符串连接函数:concat_ws
5. 数组转换成字符串的函数:concat_ws
6. ⼩数位格式化成字符串函数:format_number
7. 字符串截取函数:substr,substring
8. 字符串截取函数:substr,substring
9. 字符串查函数:instr
10. 字符串长度函数:length
11. 字符串查函数:locate
12. 字符串格式化函数:printf
13. 字符串转换成map函数:str_to_map
14. base64解码函数:unbase64(string str)
unix时间戳转换日期格式15. 字符串转⼤写函数:upper,ucase
16. 字符串转⼩写函数:lower,lcase
17. 去空格函数:trim
18. 左边去空格函数:ltrim
19. 右边去空格函数:rtrim
20. 正则表达式替换函数:regexp_replace
21. 正则表达式解析函数:regexp_extract
22. URL解析函数:parse_url
23. json解析函数:get_json_object
24. 空格字符串函数:space
25. 重复字符串函数:repeat
26. 左补⾜函数:lpad
27. 右补⾜函数:rpad
28. 分割字符串函数: split
29. 集合查函数: find_in_set
30.    分词函数:sentences
31. 分词后统计⼀起出现频次最⾼的TOP-K
32. 分词后统计与指定单词⼀起出现频次最⾼的TOP-K
⼗⼆、混合函数
1. 调⽤Java函数:java_method
2. 调⽤Java函数:reflect
3. 字符串的hash值:hash
⼗三、XPath解析XML函数
1. xpath
2. xpath_string
3. xpath_boolean
4. xpath_short, xpath_int, xpath_long
5. xpath_float, xpath_double, xpath_number
⼗四、汇总统计函数(UDAF)
1. 个数统计函数: count
2. 总和统计函数: sum
3. 平均值统计函数: avg
4. 最⼩值统计函数: min
5. 最⼤值统计函数: max
6. ⾮空集合总体变量函数: var_pop
7. ⾮空集合样本变量函数: var_samp
8. 总体标准偏离函数: stddev_pop
9. 样本标准偏离函数: stddev_samp
10.中位数函数: percentile
11. 中位数函数: percentile
12. 近似中位数函数: percentile_approx
13. 近似中位数函数: percentile_approx
14. 直⽅图: histogram_numeric
15. 集合去重数:collect_set
16. 集合不去重函数:collect_list
⼗五、表格⽣成函数Table-Generating Functions (UDTF)
1. 数组拆分成多⾏:explode
2. Map拆分成多⾏:explode

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。