IP屬地：青海
-
Hive、Spark SQL任務參數調優動態分區 參數說明hive.exec.dynamic.partition是否開啟動態分區，默認是false。如果要開啟動態分區，就設置為true...
-
常用Spark算子總結RDD的創建和保存1.1 textFile從HDFS中讀取一個文本文件1.2 makeRDD、parallelize都會創建一個新的Parall...
-
Spark入門學習
注：這篇博客講的是自己對Spark的初步認識和學習，可能會有錯誤。參考資料是廈門大學的Spark學習基礎，對應網址上有關于Spark運行機制的6...
-
記錄Spark中使用coalesce遇到的坑
場景： ??讀取2g大小的文件，做一些簡單的處理并將保存結果，為了方便的下載我將結果數據分成2個分區，分區方式是.coalesce(2).sav...
-
記錄使用gson碰到的問題
這里我主要是記錄在Scala中使用gson.JsonParser時碰到的一些問題，假設我已經創建了一個JsonParser類，即val pars...
-
《推薦系統實踐》第八章學習筆記??本章講的是評分預測問題，也就是如何通過已知的用戶歷史評分記錄預測未知的用戶評分記錄。 評測算法 1. 平均值 ??取平均值作為預測結果是最簡...
-
《推薦系統實踐》第七章學習筆記??本章主要講了如何設計一個真實的推薦系統。前面幾章都是從理論上講述了什么是推薦系統？如何利用用戶和物品的信息來設計和優化推薦算法？但推薦算法畢...
-
《推薦系統實踐》第六章學習筆記
??第6章的標題是“利用社交網絡數據”，為什么要用社交網絡數據？答：好友的推薦對于增加用戶對推薦結果的信任度非常重要。??社交網絡定義了用戶之間...
-
《推薦系統實踐》第五章學習筆記
??本章主要講了利用用戶的上下文信息進行更加個性化的推薦。上下文包括用戶訪問推薦系統的時間、地點、心情等，本章主要是講如何利用時間信息和地點信息...