1 數據傾斜調優 1.1 調優概述 有的時候，我們可能會遇到大數據計算中一個最棘手的問題——數據傾斜，此時Spark作業的性能會比期望差很多。數據傾斜調優，就是使用各種技術方...
發簡信
IP屬地：北京
-
Spark性能優化指南——高級篇
-
Spark性能優化指南——基礎篇
1 前言 在大數據計算領域，Spark已經成為了越來越流行、越來越受歡迎的計算平臺之一。Spark的功能涵蓋了大數據領域的離線批處理、SQL類處理、流式/實時計算、機器學習、...
-
Spark 如何寫入HBase/Redis/MySQL/Kafka
這篇文章是給Spark初學者寫的，老手就不要看了。文章談及如何和HBase/Redis/MySQL/Kafka等進行交互的方法，主要是為了讓大家明白其內部機制 一些概念 一個...
