[SparkSQL] Rdd轉化DataFrame 通過StructType為字段添加Schema

1、開發環境

spark-2.1.0-bin-hadoop2.6

2、Rdd轉換成DataFrame，為字段添加列信息

參數 nullable 說明：Indicates if values of this field can be null values

val schema = StructType(List(
  StructField("name", StringType, nullable = false),
  StructField("age", IntegerType, nullable = true),
  StructField("money", DoubleType, nullable = true),
  StructField("hobbies", DataTypes.createArrayType(StringType), nullable = true)
)
)

val flatMapDF = sparkSession.createDataFrame(flatMapRdd, schema)

3、特別注意

Array類型數據，需要通過 DataTypes.createArrayType(StringType) 生成相應 DateType類型數據，而不能使用ArrayType。否則會產生如下報錯：

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發布，文章內容僅代表作者本人觀點，簡書系信息發布平臺，僅提供信息存儲服務。

推薦閱讀更多精彩內容