一、讀文本文件
讀文本文件非常簡單：只需要指定類型為textFile即可。如果使用textFile，分區(qū)目錄名將被忽略。如果要根據(jù)分區(qū)讀取和寫入文本文件，你應(yīng)該使用text，它會在讀寫時考慮分區(qū)
spark.read.textFile("/data/flight-data/csv/2010-summary.csv")
.selectExpr("split(value, ',') as rows").show()
二、寫文本文件
- 當(dāng)寫文本文件時，需確保僅有一個字符串類型的列寫出，否則寫操作將失敗
csvFile.select("DEST_COUNTRY_NAME").write.text("tmp/simple-text-file.txt")
- 如果在執(zhí)行寫操作同時執(zhí)行某些數(shù)據(jù)分片操作，則可以寫入更多列
csvFile.limit(10).select("DEST_COUNTRY_NAME", "count")
.write.partitionBy("count").text("/tmp/five-csv-files2.csv")
