發簡信
IP屬地：四川
RPC體系結構 spark1.6中的RPC體系結構大致如下： RpcEnv相當于容器，有host、port已及注冊其中的RpcEndpoint，...
之前一段時間通過SparkStreaming+Kafka處理上網日志數據的一些記錄，做個備忘。 KafkaUtils.createDirectS...
運行監控對系統的重要性不言而喻，尤其是分布式環境中，程序運行是否正常，在哪些節點上運行，每個節點處理的數據量是否均勻，每個任務的處理時間是否大致...
算法描述 樸素貝葉斯算法是監督學習中分類算法中的一種。需要先通過學習一批分類正確的訓練數據集得出模型才能進行分類,算法大致如下： 假設待分類的數...
概要 目前Spark官方提供Java,Scala,Python三種語言的API。因為Spark是用Scala開發，而Scala本身是基于JVM的...