spark中mysql中取前三⾏命令_sparkdataframe操作集锦（提
取前⼏⾏，合。。。
Spark dataframe派⽣于RDD类，但是提供了⾮常强⼤的数据操作功能。当然主要对类SQL的⽀持。
在实际⼯作中会遇到这样的情况，主要是会进⾏两个数据集的筛选、合并，重新⼊库。
⾸先加载数据集，然后在提取数据集的前⼏⾏过程中，才到limit的函数。
⽽合并就⽤到union函数，重新⼊库，就是registerTemple注册成表，再进⾏写⼊到Hive中。
不得不赞叹dataframe的强⼤。
具体⽰例：为了得到样本均衡的训练集，需要对两个数据集中各取相同的训练样本数⽬来组成，因此⽤到了这个功能。
Scala> val fes = hiveContext.sql(sqlss)
fes: org.apache.spark.sql.DataFrame = [caller_num: string, is_sr: int, call_count: int, avg_talk_time: double, max_talk_time: int, min_talk_time: int, called_num_count: int, called_lsd: double, null_called_c
ount: int]
scala> val fcount = unt()
fcount: Long = 4371029
scala> val zcfea = hiveContext.sql(sqls2)
zcfea: org.apache.spark.sql.DataFrame = [caller_num: string, is_sr: int, call_count: int, avg_talk_time: double, max_talk_time: int, min_talk_time: int, called_num_count: int, called_lsd: double, null_called_count: int]
scala> val zcount = unt()
zcount: Long = 14208117
scala> val f01 = fes.limit(25000)
f01: org.apache.spark.sql.DataFrame = [caller_num: string, is_sr: int, call_count: int, avg_talk_time: double, max_talk_time: int, min_talk_time: int, called_num_count: int, called_lsd: double, null_called_count: int]
scala> val f02 = zcfea.limit(25000)
f02: org.apache.spark.sql.DataFrame = [caller_num: string, is_sr: int, call_count: int, avg_talk_time: double, max_talk_time: int, min_talk_time: int, called_num_count: int, called_lsd: double, null_called_count: int]
scala> val ff=f01.unionAll(f02)
ff: org.apache.spark.sql.DataFrame = [caller_num: string, is_sr: int, call_count: int, avg_talk_time: double, max_talk_time: int, min_talk_time: int, called_num_count: int, called_lsd: double, null_called_count: int]
scala> ff.registerTempTable("ftable01")
scala> hiveContext.sql("create table shtrainfeature as select * from ftable01")
res1: org.apache.spark.sql.DataFrame = []
最后附上dataframe的⼀些操作及⽤法：
DataFrame 的函数
Action 操作
1、 collect() ，返回值是⼀个数组，返回dataframe集合所有的⾏
2、 collectAsList() 返回值是⼀个Java类型的数组，返回dataframe集合所有的⾏
3、 count() 返回⼀个number类型的，返回dataframe集合的⾏数
4、 describe(cols: String*) 返回⼀个通过数学计算的类表值(count, mean, stddev, min, and max)，这个可以传多个参数，中间⽤逗号分隔，如果有字段为空，那么不参与运算，只这对数值类型的字段。例如df.describe("age", "height").show()
5、 first() 返回第⼀⾏ ，类型是row类型
6、 head() 返回第⼀⾏ ，类型是row类型
word和excel基础教程
7、 head(n:Int)返回n⾏  ，类型是row 类型
8、 show()返回dataframe集合的值 默认是20⾏，返回类型是unit
9、 show(n:Int)返回n⾏，，返回值类型是unit
10、 table(n:Int) 返回n⾏  ，类型是row 类型
dataframe的基本操作
unknown error什么意思1、 cache()同步数据的内存
2、 columns 返回⼀个string类型的数组，返回值是所有列的名字
3、 dtypes返回⼀个string类型的⼆维数组，返回值是所有列的名字以及类型
4、 explan()打印执⾏计划  物理的
5、 explain(n:Boolean) 输⼊值为 false 或者true ，返回值是unit  默认是false ，如果输⼊true 将会打印 逻辑的和物理的
6、 isLocal 返回值是Boolean类型，如果允许模式是local返回true 否则返回false
7、 persist(newlevel:StorageLevel) 返回⼀个pe 输⼊存储模型类型
8、 printSchema() 打印出字段名称和类型 按照树状结构来打印
9、 registerTempTable(tablename:String) 返回Unit ，将df的对象只放在⼀张表⾥⾯，这个表随着对象的删除⽽删除了
10、 schema 返回structType 类型，将字段名称和类型按照结构体类型返回
11、 toDF()返回⼀个新的dataframe类型的
12、 toDF(colnames：String*)将参数中的⼏个字段返回⼀个新的dataframe类型的，
13、 unpersist() 返回pe 类型，去除模式中的数据
14、 unpersist(blocking:Boolean)返回pe类型 true 和unpersist是⼀样的作⽤false 是去除RDD
集成查询：
1、 agg(expers:column*) 返回dataframe类型 ，同数学计算求值
df.agg(max("age"), avg("salary"))
2、 agg(exprs: Map[String, String])  返回dataframe类型 ，同数学计算求值 map类型的
df.agg(Map("age" -> "max", "salary" -> "avg"))
3、 agg(aggExpr: (String, String), aggExprs: (String, String)*)  返回dataframe类型 ，同数学计算求值
df.agg(Map("age" -> "max", "salary" -> "avg"))
4、 apply(colName: String) 返回column类型，捕获输⼊进去列的对象
5、 as(alias: String) 返回⼀个新的dataframe类型，就是原来的⼀个别名
6、 col(colName: String)  返回column类型，捕获输⼊进去列的对象
7、 cube(col1: String, cols: String*) 返回⼀个GroupedData类型，根据某些字段来汇总
8、 distinct 去重 返回⼀个dataframe类型
9、 drop(col: Column) 删除某列 返回dataframe类型
10、 dropDuplicates(colNames: Array[String]) 删除相同的列 返回⼀个dataframe
11、 except(other: DataFrame) 返回⼀个dataframe，返回在当前集合存在的在其他集合不存在的
12、 explode[A, B](inputColumn: String, outputColumn: String)(f: (A) ⇒ TraversableOnce[B])(implicit arg0:
将name字段根据空格来拆分，拆分的字段放在names⾥⾯
13、 filter(conditionExpr: String): 刷选部分数据，返回dataframe类型 df.filter("age>10").show();  df.filter(df("age")>10).show();  df.where(df("age")>10).show(); 都可以
14、 groupBy(col1: String, cols: String*) 根据某写字段来汇总返回groupedate类型  df.groupBy("age").agg(Map("age" ->"count")).show();df.groupBy("age").avg().show()；都可以
15、 intersect(other: DataFrame) 返回⼀个dataframe，在2个dataframe都存在的元素
16、 join(right: DataFrame, joinExprs: Column, joinType: String)
⼀个是关联的dataframe，第⼆个关联的条件，第三个关联的类型：inner, outer, left_outer, right_outer, leftsemi
df.join(ds,df("name")===ds("name") and  df("age")===ds("age"),"outer").show();
17、 limit(n: Int) 返回dataframe类型  去n 条数据出来
18、 na: DataFrameNaFunctions ，可以调⽤dataframenafunctions的功能区做过滤 df.na.drop().show(); 删除为空的⾏
19、 orderBy(sortExprs: Column*) 做alise排序
ascii是对什么的编码20、 select(cols:string*) dataframe 做字段的刷选 df.select($"colA", $"colB" + 1)
21、 selectExpr(exprs: String*) 做字段的刷选 df.selectExpr("name","name as names","upper(name)","age+1").show();
22、 sort(sortExprs: Column*) 排序 df.sort(df("age").desc).show(); 默认是asc
23、 unionAll(other:Dataframe) 合并 df.unionAll(ds).show();
24、 withColumnRenamed(existingName: String, newName: String) 修改列表
matlab安装哪些产品就够了
df.withColumnRenamed("name","names").show();
el最基本的语法结构25、 withColumn(colName: String, col: Column) 增加⼀列 df.withColumn("aa",df("name")).show();mysql面试题集锦

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。