SparkSql数据类型转换
前⾔
数据类型转换这个在任何语⾔框架中都会涉及到，看起来⾮常简单，不过要把所有的数据类型都掌握还是需要⼀定的时间历练的SparkSql数据类型
数字类型
ByteType：代表⼀个字节的整数。范围是-128到127
ShortType：代表两个字节的整数。范围是-32768到32767
IntegerType：代表4个字节的整数。范围是-2147483648到2147483647
LongType：代表8个字节的整数。范围是-9223372036854775808到9223372036854775807
FloatType：代表4字节的单精度浮点数
DoubleType：代表8字节的双精度浮点数
DecimalType：代表任意精度的10进制数据。通过内部的java.math.BigDecimal⽀持。BigDecimal由⼀个任意精度的整型⾮标度值和⼀个32位整数组成
StringType：代表⼀个字符串值
BinaryType：代表⼀个byte序列值
BooleanType：代表boolean值
Datetime类型
TimestampType：代表包含字段年，⽉，⽇，时，分，秒的值
DateType：代表包含字段年，⽉，⽇的值
复杂类型
ArrayType(elementType, containsNull)：代表由elementType类型元素组成的序列值。containsNull⽤来指明ArrayType中的值是否有null值
MapType(keyType, valueType, valueContainsNull)：表⽰包括⼀组键 - 值对的值。通过keyType表⽰k
ey数据的类型，通过valueType表⽰value数据的类型。valueContainsNull⽤来指明MapType中的值是否有null值
StructType(fields)：表⽰⼀个拥有StructFields (fields)序列结构的值
StructField(name, dataType, nullable)：代表StructType中的⼀个字段，字段的名字通过name指定，dataType指定field的数据类型，nullable表⽰字段的值是否有null值。
Spark Sql数据类型和Scala数据类型对⽐
sparksql 数据类
scala数据类型
型
ByteType Byte
ShortType Short
IntegerType Int
LongType Long
FloatType Float
DoubleType Double
DecimalType scala.math.BigDecimal
StringType String
BinaryType Array[Byte]
BinaryType Array[Byte] BooleanType Boolean TimestampType java.sql.Timestamp DateType java.sql.Date llection.Seq llection.Map StructType org.apache.spark.sql.Row
StructField The value type in Scala of the data type of this field (For example, Int for a StructField with the data type
IntegerType)
sparksql 数据类
型
scala数据类型
Spark Sql数据类型转换案例
⼀句话描述：调⽤Column类的cast⽅法
如何获取Column类
这个写过
df("columnName") // On a specific `df` DataFrame.
col("columnName") // A generic column not yet associated with a DataFrame.
col("columnName.field") // Extracting a struct field
col("`a.column.with.dots`") // Escape `.` in column names.
$"columnName" // Scala short hand for a named column.
测试数据准备
1,tom,23
2,jack,24
3,lily,18
4,lucy,19
spark⼊⼝代码
val spark = SparkSession
.builder()
.appName("test")
.master("local[*]")
.
getOrCreate()
测试默认数据类型
textFile("./data/user")
.map(_.split(","))
.map(x => (x(0), x(1), x(2)))
.toDF("id", "name", "age")
.dtypes
.foreach(println)
结果：
(id,StringType)
(name,StringType)
(age,StringType)
说明默认都是StringType类型
把数值型的列转为IntegerType
import spark.implicits._
textFile("./data/user")
.map(_.split(","))
.map(x => (x(0), x(1), x(2)))
.toDF("id", "name", "age")
.select($"id".cast("int"), $"name", $"age".cast("int"))
.
dtypes
.foreach(println)
结果：
(id,IntegerType)
(name,StringType)
(age,IntegerType)
Column类cast⽅法的两种重载
第⼀种
def cast(to: String): Column
Casts the column to a different data type, using the canonical string representation of the type. The supported types are:
string, boolean, byte, short, int, long, float, double, decimal, date, timestamp.
// Casts colA to integer.
df.select(df("colA").cast("int"))
Since
1.3.0
第⼆种
def cast(to: DataType): Column
Casts the column to a different data type.
// Casts colA to IntegerType.
import org.apache.pes.IntegerType
df.select(df("colA").cast(IntegerType))
// equivalent to
df.select(df("colA").cast("int"))
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论