發簡信
IP屬地：澳門
-
ROC和AUC介紹以及如何計算AUC1. 首先介紹下一些參數指標 精確率(Precision)：Precision 真陽性率(True Positive Rate，TPR)，靈敏度...
-
背包問題
背包問題 在n個物品中挑選若干物品裝入背包，最多能裝多滿？假設背包的大小為m，每個物品的大小為A[i]樣例如果有4個物品[2, 3, 5, 7]...
-
Spark性能優化-數據傾斜調優Spark性能優化分為四個方面： 1、開發調優2、資源調優3、數據傾斜調優4、shuffle調優 數據傾斜調優 1. 使用Hive ETL預處理...
-
Spark性能優化-資源調優
Spark性能優化分為四個方面： 1、開發調優2、資源調優3、數據傾斜調優4、shuffle調優 資源調優 num-executors參數說明：...
-
Spark性能優化-開發調優Spark性能優化分為四個方面： 1、開發調優2、資源調優3、數據傾斜調優4、shuffle調優 1. 開發調優 1.1 避免創建重復的RDD對...
-
理解RDD、DataFrame、Dataset區別先上圖 rdd 優點1.強大，內置很多函數操作，group，map，filter等，方便處理結構化或非結構化數據2.面向對象編程，直接存儲的ja...
-
關于SparkSQL中withColumn生成自增序列的一個坑多個分區情況下 首先我們創建一個RDD并設置分區數為2，然后轉換成DataFrame，生成一列新的ID 然后我們看下生成的ID，可見同分區連續 ...
-
Spark任務提交流程1. Spark運行原理 （1）sparkContext向資源管理器注冊并申請資源（2）資源管理器根據預先設定的算法，在資源池里分配合適的Exe...
-
GoogLeNet
GoogLeNet 前言 Inception V1（也稱為GoogLeNet，命名致敬Google和LeNet），是2014年由Christia...