發(fā)簡(jiǎn)信
IP屬地：江蘇
-
離線多機(jī)房方案1. 背景 隨著公司業(yè)務(wù)的高速發(fā)展，業(yè)務(wù)數(shù)據(jù)的生產(chǎn)速度變得越來越快，離線集群規(guī)模快速膨脹，既有機(jī)房?jī)?nèi)的機(jī)位急劇消耗，在可預(yù)見的不久的將來會(huì)達(dá)到機(jī)...
-
Hadoop Security機(jī)制下跨集群日志分離認(rèn)證問題解決方案概述：為解決臨時(shí)數(shù)據(jù)導(dǎo)致的集群資源爭(zhēng)用問題，我們采用了container日志分離方案，但在Hadoop Security機(jī)制下，該方案存在跨集群...
-
Resource Manager YGC停頓過長(zhǎng)分析
動(dòng)機(jī) 昨天又收到有同學(xué)因數(shù)據(jù)（代碼）問題被rccd的郵件，領(lǐng)導(dǎo)也一再提醒數(shù)據(jù)的安全問題。于是審視了一下硬盤文件，以免存在無心之過… 審視過程中發(fā)...
-
Shuffle Service導(dǎo)致NM OOM問題分析（續(xù)）今天有朋友問之前NodeManager被Shuffle拉掛的問題，借此機(jī)會(huì)將之前分析的另一文檔整理一下分享出來。 現(xiàn)象描述及分析 9月27日10...
-
SparkR on Yarn 安裝配制
剛完成SparkR的支持，順手記錄下流程… 1 編譯SparkR 1.1 生成SparkR的lib包 1.2 編譯Spark 1.3 local...
-
Spark SQL中Kryo反序列化問題分析1 問題描述 當(dāng)使用Spark-sql執(zhí)行 Hive UDF時(shí)會(huì)發(fā)生NullPointerException(NPE)，從而導(dǎo)致作業(yè)異常終止。...
-
External Shuffle Service 引起的NodeManager OOM問題分析1 現(xiàn)象描述及初步分析 近期公司yarn集群中存在NodeManager因OOM 而掛掉的情況, 且發(fā)生OOM前存在大量的Spark Shuf...
-
Spark on Yarn 之Python環(huán)境定制
1 動(dòng)機(jī) 不同用戶的應(yīng)用程序使用的python版本及需要的python依賴可能存在不同，若每次缺少依賴都請(qǐng)op去update所有節(jié)點(diǎn)，對(duì)于大集群...
-
Spark on Yarn之Executor內(nèi)存管理本文1、2、3節(jié)介紹了Spark 內(nèi)存相關(guān)之識(shí)，第4節(jié)描述了常見錯(cuò)誤類型及產(chǎn)生原因并給出了解決方案。 1 堆內(nèi)和堆外內(nèi)存規(guī)劃 Executor ...