發簡信
IP屬地：重慶
-
聊聊spark shuffle分蘋果 我們先以生活中的個小故事來個開場白，小王今年家里蘋果豐收，總共摘了三大筐的蘋果，小王準備按照大、中和小規格包裝成禮盒放到商場里賣，小王身...
-
如何在華為平臺使用自己的spark
場景 我們私有云團隊在給客戶部署系統時遇到困難，客戶要求在他們購買的華為大數據平臺上部署我們的產品，我們底層主要用到了spark、hdfs、和h...
-
sparkSQL新增優化器實現復雜計算的快速預覽場景 有時我們使用sparkSQL做復雜模型時需要實現對數據的快速預覽，假如模型是用好幾表做Join且每個表的數據量都挺大時，那么預覽就會很慢。...
-
spark2以后對limit的優化和存在問題
問題 假如我們在spark-shell上執行：spark.sql("select * from table limit 1000").colle...
-
SparkSQL自定義Hint優化器解決熱點數據導致JOIN數據傾斜問題場景 有時我們通過sparkSQL來分析數據，當使用Join操作時，最讓人頭疼的莫過于數據傾斜了，如果你是大表關聯小表的情況，那情況還不是很糟糕...