IP屬地：四川
-
Mac 操作系統 fatal error: 'openssl/ssl.h' file not found
由于 Mac 操作系統提供 LibreSSL 而非 openssl，故遇到編譯問題需要自行安裝和激活 openssl 安裝 openssl 依賴...
-
Spark支持的java.time.Instant最大(小)值是多少？
java.time.Instant 在Spark 3.0中, java8 time API 被用到Spark datetime相關的內部計算和用...
-
ScalaReflection調用localTypeOf拋出NullPointerException問題記錄
目前懷疑是scala bug所致，https://github.com/scala/bug/issues/10766Spark在注冊用戶的UDF...
-
數據本地性對 Spark 生產作業容錯能力的負面影響數據本地性是 Spark 等計算引擎從計算性能方面去考量的一個重要指標，對于某個數據分片的運算，Spark 在調度側會做數據本地性的預測，然后盡...
-
記一次Spark Yarn Shuffle Service升級引發的血案前言 Spark YarnShuffleService是作為Hadoop Yarn模塊中NodeManager的輔助服務寄生在其進程內部，大家都...
-
Spark on k8s: failed to create container for [kubepods burstable...no space left on device問題描述 測試了若干天的Spark on k8s, 今天突然就無法初始化 Spark Driver Pod 了。表現如下， 客戶端側以clust...
-
Spark on k8s: 通過hostPath設置SPARK_LOCAL_DIRS加速Shuffle前言 spark.local.dir/SPARK_LOCAL_DIRS 用于Spark 在 Shuffle階段臨時文件及RDD持久化存儲等，可以...
-
Spark on k8s: OkHttp WebSocket 非daemon線程導致Driver線程無法退出問題描述 基于Spark 3.0-SNAPSHOT(unreleased)，做Spark-Terasort相關測試，任務正常的話分如下圖所示兩個...
-
Spark on k8s: 調試Executor Pod的方法相關文章 1 . Spark on k8s: 調試客戶端spark-submit進程 Spark on k8s: 調試Driver Pod的方法...
個人介紹