背景 本篇以Flink操作Hudi表為例，分析COW表和MOR表的upsert以及insert操作詳細(xì)的執(zhí)行流程。 StreamWriteFunction Hudi Flin...
發(fā)簡信
IP屬地：江蘇
-
Hudi 源碼之?dāng)?shù)據(jù)寫入邏輯
-
荒湖 ·分析的挺好的，但是在實(shí)際生產(chǎn)上不建議使用這個(gè)參數(shù)，因?yàn)橘Y源你可以釋放，但是并不一定可以很隨意的申請到特別是在集群的資源隔離做的不好的情況下，遇到了資源緊張的時(shí)候，很可能會(huì)無法申請到資源，導(dǎo)致任務(wù)的滯后，甚至是失敗
-
離線多機(jī)房方案1. 背景 隨著公司業(yè)務(wù)的高速發(fā)展，業(yè)務(wù)數(shù)據(jù)的生產(chǎn)速度變得越來越快，離線集群規(guī)模快速膨脹，既有機(jī)房內(nèi)的機(jī)位急劇消耗，在可預(yù)見的不久的將來會(huì)達(dá)到機(jī)房容量上限，阻塞業(yè)務(wù)的發(fā)展。因...
-
Hive Format異常分析最近在執(zhí)行Hive insert/select語句的過程碰到下面這種類型的異常： 本文已上述的錯(cuò)誤為切入點(diǎn)，分析下異常原因以及Hive相關(guān)的關(guān)于Format的異常。主要內(nèi)容如...
-
-
贊， 也學(xué)著爬爬購物網(wǎng)站…
京東商城大規(guī)模爬蟲
一開始看京東商城的商品，發(fā)現(xiàn)很多信息都在網(wǎng)頁源代碼上，以為會(huì)比淘寶的大規(guī)模爬取簡單點(diǎn)，結(jié)果被京東欺騙了無數(shù)次，整整寫了差不多六個(gè)小時(shí)，真是坑爹啊。先貼上github地址：ht...
-
-
Hadoop Security機(jī)制下跨集群日志分離認(rèn)證問題解決方案概述：為解決臨時(shí)數(shù)據(jù)導(dǎo)致的集群資源爭用問題，我們采用了container日志分離方案，但在Hadoop Security機(jī)制下，該方案存在跨集群的認(rèn)證問題。經(jīng)過對Hadoop...
-
@金剛a猩猩 2.7.2
Resource Manager YGC停頓過長分析
動(dòng)機(jī) 昨天又收到有同學(xué)因數(shù)據(jù)（代碼）問題被rccd的郵件，領(lǐng)導(dǎo)也一再提醒數(shù)據(jù)的安全問題。于是審視了一下硬盤文件，以免存在無心之過… 審視過程中發(fā)現(xiàn)了部分日志信息及排錯(cuò)過程中的...
-
Resource Manager YGC停頓過長分析
動(dòng)機(jī) 昨天又收到有同學(xué)因數(shù)據(jù)（代碼）問題被rccd的郵件，領(lǐng)導(dǎo)也一再提醒數(shù)據(jù)的安全問題。于是審視了一下硬盤文件，以免存在無心之過… 審視過程中發(fā)現(xiàn)了部分日志信息及排錯(cuò)過程中的...
-
Shuffle Service導(dǎo)致NM OOM問題分析（續(xù)）今天有朋友問之前NodeManager被Shuffle拉掛的問題，借此機(jī)會(huì)將之前分析的另一文檔整理一下分享出來。 現(xiàn)象描述及分析 9月27日10時(shí)左右，編號為2611節(jié)點(diǎn)執(zhí)行...
-
@JeremySun eden , survivor 和 old是gc用的分區(qū)概念， 而storage 和 execution、user memory是從Spark Task使用的角度起的“邏輯名稱”…
Spark on Yarn之Executor內(nèi)存管理
本文1、2、3節(jié)介紹了Spark 內(nèi)存相關(guān)之識，第4節(jié)描述了常見錯(cuò)誤類型及產(chǎn)生原因并給出了解決方案。 1 堆內(nèi)和堆外內(nèi)存規(guī)劃 Executor 的內(nèi)存管理建立在 JVM 的內(nèi)...
-
SparkR on Yarn 安裝配制
剛完成SparkR的支持，順手記錄下流程… 1 編譯SparkR 1.1 生成SparkR的lib包 1.2 編譯Spark 1.3 local模式運(yùn)行SparkR 測試用例...
-
Spark SQL中Kryo反序列化問題分析1 問題描述 當(dāng)使用Spark-sql執(zhí)行 Hive UDF時(shí)會(huì)發(fā)生NullPointerException(NPE)，從而導(dǎo)致作業(yè)異常終止。NPE具體堆棧信息如下： 2 ...
