Hive系统函数之collect_list和collect_set
转⾃：
Hive中collect相关的函数有collect_list和collect_set。
它们都是将分组中的某列转为⼀个数组返回，不同的是collect_list不去重⽽collect_set去重。
做简单的实验加深理解，创建⼀张实验⽤表，存放⽤户每天点播视频的记录：
create table t_visit_video (
username string,
video_name string
) partitioned by (day string)
row format delimited fields terminated by',';
在本地⽂件系统创建测试数据⽂件：
张三,⼤唐双龙传
李四，天下⽆贼
张三，神探狄仁杰
李四，霸王别姬
李四，霸王别姬
王五，机器⼈总动员
王五，放⽜班的春天
王五，盗梦空间
将数据加载到Hive表：
load data local inpath '/root/hive/visit.data'into table t_visit_video partition (day='20180516');
hive 字符串转数组按⽤户分组，取出每个⽤户每天看过的所有视频的名字：
select username, collect_list(video_name) from t_visit_video group by username ;
但是上⾯的查询结果有点问题，因为霸王别姬实在太好看了，所以李四这家伙看了两遍，这直接就导致得到的观看过视频列表有重复的，所以应该增加去重，使⽤collect_set，其与collect_list的区别就是会去重：
select username, collect_set(video_name) from t_visit_video group by username;
李四的观看记录中霸王别姬只出现了⼀次，实现了去重效果。
突破group by限制
还可以利⽤collect来突破group by的限制，Hive中在group by查询的时候要求出现在select后⾯的列都必须是出现在group by后⾯的，即select列必须是作为分组依据的列，但是有的时候我们想根据A进⾏分组然后随便取出每个分组中的⼀个B，代⼊到这个实验中就是按照⽤户进⾏分组，然后随便拿出⼀个他看过的视频名称即可：
select username, collect_list(video_name)[0]from t_visit_video group by username;
video_name不是分组列，依然能够取出这列中的数据。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。