一 print() 函數 print(*objects, sep=' ', end='\n', file=sys.stdout, flush=False) 將對象以字符串表示...
發簡信
IP屬地：北京
-
天池Python學習小組（1）
-
-
-
spark 面試題（1）
1.spark中的RDD是什么，有哪些特性？ 答：RDD（Resilient Distributed Dataset）叫做分布式數據集，是spark中最基本的數據抽象，它代表...
-
spark 面試題（2）
33.選擇題 二、選擇題 1. Spark 的四大組件下面哪個不是 (D ) A.Spark Streaming B. Mlib C Graphx D.Spark R 2...
-
如何關閉 sparkstreaming 任務
因為Spark Streaming流程序比較特殊，所以不能直接執行kill -9 這種暴力方式停掉，如果使用這種方式停程序，那么就有可能丟失數據或者重復消費數據。 為什么呢？...
-
Spark使用parquet文件存儲格式能帶來哪些好處
1.Spark使用parquet文件存儲格式能帶來哪些好處？ 1) 如果說HDFS 是大數據時代分布式文件系統首選標準，那么parquet則是整個大數據時代文件存儲格式實時首...
-
Hive 處理數據傾斜在做Shuffle階段的優化過程中，遇到了數據傾斜的問題，造成了對一些情況下優化效果不明顯。主要是因為在Job完成后的所得到的 Counters是整個Job的總和，優化是基于...
-
Hive 如何使用mapjoin
MapJoin是Hive的一種優化操作，其適用于小表JOIN大表的場景，由于表的JOIN操作是在Map端且在內存進行的，所以其并不需要啟動Reduce任務也就不需要經過shu...
