Spark：groupby和聚合函数使⽤groupBy分组和使⽤agg聚合函数demo：
df.show
+----+-----+---+
|YEAR|MONTH|NUM|
+----+-----+---+
|2017|    1| 10|
|2017|    1|  5|
|2017|    2| 20|
|2018|    1|  5|
|2018|    1|  5|
+----+-----+---+
import org.apache.spark.sql.functions._
.agg(sum("NUM").as("sum_num"))
.show
+----+-----+-------+
|YEAR|MONTH|sum_num|
+----+-----+-------+
|2018|    1|  10.0|
|2017|    1|  15.0|
|2017|    2|  20.0|groupby是什么函数
+----+-----+-------+
/
/也可以这样写：
.agg("NUM"->"avg", ("MONTH", "count") )
.show
+----+-----+--------+------------+
|YEAR|MONTH|avg(NUM)|count(MONTH)|
+----+-----+--------+------------+
|2018|    1|    5.0|          2|
|2017|    1|    7.5|          2|
|2017|    2|    20.0|          1|
+----+-----+--------+------------+

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。