發簡信
IP屬地：北京
-
Spark2.11 + Scala2.11.8環境搭建標題雖然說是搭建，實際只是想記錄下搭建過程中遇到的兩個問題。首先在本地創建Scala項目。 環境搭建： 首先通過IntelliJ IDEA建立S...
-
Linux環境安裝SSH命令
今天拿到了一個新的環境，準備開始安裝ES。登錄集群后發現服務器全新，沒有ssh命令，并且發現yum install ssh是不行的。經過查詢發現...
-
Spark作業性能優化
Spark作業性能調優總結前段時間在集群上運行Spark作業，但是發現作業運行到某個stage之后就卡住了，之后也不再有日志輸出。于是開始著手對...
-
一次詭異的Spark作業卡住問題今天在一個集群上通過spark-submit方式提交作業，但發現作業在運行不久后，控制臺的日志就停住不變了，一直到CRT的session超時也沒...