控制復雜性是計算機編程的本質。-- Brian Kernigan Scala繼承體系結構設計非常巧妙，它沒有特殊地對待「基本數據類型」，將萬物視為對象。此外，Scala在頂層...
發簡信
IP屬地：廣東
-
Scala繼承體系結構 -
我覺得總結的不是很嚴謹，應該說寬依賴一般多對多的情況，除了笛卡爾積
Spark中CartesianRDD依賴關系的特殊之處
前言 RDD之間的依賴關系一般分為兩種，寬依賴和窄依賴。 在網上好多博客中是這樣描述寬依賴和窄依賴的特點 窄依賴每個父RDD的一個Partition最多被子RDD的一個Par...
-
Spark中CartesianRDD依賴關系的特殊之處前言 RDD之間的依賴關系一般分為兩種，寬依賴和窄依賴。 在網上好多博客中是這樣描述寬依賴和窄依賴的特點 窄依賴每個父RDD的一個Partition最多被子RDD的一個Par...
-
[spark] TaskScheduler 任務提交與調度源碼解析
在DAGScheduler劃分為Stage并以TaskSet的形式提交給TaskScheduler后，再由TaskScheduler通過TaskSetMagager對task...
-
[SPARK][CORE] 面試問題之 Shuffle reader 的細枝末節 （上）歡迎關注微信公眾號“Tim在路上”之前我們已經了解了shuffle writer的詳細過程，那么生成文件后會發生什么呢？以及它們是如何被讀取呢？讀取是內存的操作嗎？這些問題也...
-
executor 數量 = spark.cores.max/spark.executor.cores
Spark executor中task的數量與最大并發數
關于executor和task的概念可以參考官方文檔本文使用的源碼是spark 2.0.0版本 Task的數量 根據類DAGScheduler中的submitMissingT...
-
Spark RDD上的map operators是如何pipeline起來的？最近在工作討論中，同事提出了這么一個問題：作用在一個RDD/DataFrame上的連續的多個map是在對數據的一次循環遍歷中完成的還是需要多次循環？ 當時我很自然地回答說：不...
-
所以為什么廣播失敗找到原因了嗎？
Spark-Broadcast的生命周期
事情起因是一位同事寫的SparkStreaming程序，總會出現部分Executor上請求broadcast不成功的錯誤，鑒于此，我專門走讀了一下broadcast的相關代碼...
-
談談需求的描述-用例（Use Case）概要 用例（Use Case）是一種描述系統需求的方法。運用用例這種方法來描述系統需求稱之為用例建模。用例也是UML規范中的一種標準化的需求表達方式，其中比較有名的RUP（R...
-
Scala各種常見的符號小結
:::運算符：三個冒號表示List的連接操作，比如： val a = List(1,2) val b = List(3,4) val c = a:::b //c=List(1...
-
Parquet列式存儲格式詳解，下推和壓縮性能測試摘要：列式存儲，Parquet Parquet概述 Apache Parquet是面向分析型業務的列式存儲格式，由Twitter和Cloudera合作開發，Parquet是一...
-
Spark Thrift Server 架構和原理介紹
也可以看我CSDN的博客：https://blog.csdn.net/u013332124/article/details/90339850 一、Spark Thrift S...
-
loadClass（）、findClass（）、defineClass（）區別
loadClass() findLoadedClass(String) 調用這個方法，查看這個Class是否已經別加載 如果沒有被加載，繼續往下走，查看父類加載器，遞歸調用l...
-
-
SynchronousQueue使用實例
序 本文主要講一下SynchronousQueue。 定義 SynchronousQueue，實際上它不是一個真正的隊列，因為它不會為隊列中元素維護存儲空間。與其他隊列不同的...
