發(fā)簡信
IP屬地：北京
-
Structured Streaming 介紹(一)最近看了下structured streaming 的基本用法，大部分雖然是翻譯官方文檔，但是從翻譯中也可以加深理解。 基本介紹和編程模型 Sp...
-
spark 2.0 新特性
Spark Core & SparkSQL dataframe與dataset統(tǒng)一，dataframe只是dataset[Row]的類型別名，移...
-
spark BlockManager
我們從這個入口開始分析，task對rdd開始處理。 SparkEnv.get.cacheManager.getOrCompute 方法追蹤 Bl...
-
Spark1.6.3 Stage劃分算法
在分析Stage劃分算法之前，需要知道RDD的寬依賴和窄依賴的概念。窄依賴:Narrow Dependency,即每個RDD的partition...
-
Spark1.6.3 cache()和persist()
RDD的持久化也就是說假如我們從hdfs讀取文件，形成RDD。當(dāng)我們對RDD進行持久化操作之后，，然后再針對該RDD進行action操作（這里我...
-
mac上提交job遇到的問題(Hadoop)最近想看下hadoop job提交的源碼，結(jié)果在mac使用偽分模式提交job時，導(dǎo)致job提交失敗。主要遇到的問題有兩個： 1、通過訪問jo...
-
Mac mysql 安裝1.首先在MySQL 官方網(wǎng)站下載http://dev.mysql.com/downloads/file/?id=466265 按照步驟直接安裝...
-
IntelliJ Idea 搭建spark 開發(fā)環(huán)境筆者介紹的是在MAC環(huán)境下使用Idea搭建spark環(huán)境。 環(huán)境: spark 2.0.0 scala 2.11.8 maven 3.9.9 i...