發(fā)簡信
IP屬地：北京
-
一文讀懂HashMap本文準(zhǔn)備從以下幾個方面去講解HashMap：1）HashMap源碼詳細(xì)分析2）HashMap為什么是線程不安全的？3）HashMap和HashT...
-
MPP架構(gòu)相關(guān)知識學(xué)習(xí)
學(xué)習(xí)一下MPP架構(gòu)的特點，優(yōu)勢，常見的一些MPP架構(gòu)的系統(tǒng)（CK、Doris、SR、Trino等）各方面對比。 一、MPP架構(gòu)概述 1.1 什么...
-
【HDFS】EC重構(gòu)過程中的校驗功能：DecodingValidator
一、動機(jī) DecodingValidator是在HDFS-15759中引入的一個用于校驗EC數(shù)據(jù)重構(gòu)正確性的組件。 先說下引入DecodingV...
-
【HDFS】EC文件副本缺失后，會自動補(bǔ)充么？
EC存儲能夠有效較低存儲成本，但是我們也需要關(guān)注數(shù)據(jù)可用性相關(guān)的事情，避免發(fā)生數(shù)據(jù)丟失的情況。 本文來探討一下EC補(bǔ)充低冗余度的塊的相關(guān)知識。 ...
-
【HDFS】BlockPlacementPolicyRackFaultTolerant#getMaxNode方法的功能及具體實例
方法參數(shù)說明： numOfChosen：已經(jīng)選擇的節(jié)點數(shù) numOfReplicas：還需要選擇的副本數(shù) 方法的返回值是一個長度為2的數(shù)組：[調(diào)...
-
【Ratis】關(guān)于對Raft論文里safety的保證及代碼實現(xiàn)
Raft論文里算法部分核心內(nèi)容就三個方面：1、Leader Election 領(lǐng)導(dǎo)者選舉2、Log Replication 日志復(fù)制3、Safe...
-
【HDFS-Client系列】FSOutputSummer#write1方法的細(xì)節(jié)
有些代碼初次閱讀并不能看出其中的處理細(xì)節(jié)，但是當(dāng)過一段時間對這個部分熟悉了之后再來閱讀，就能發(fā)現(xiàn)并體會其中的細(xì)節(jié)。 本文說一下FSOutputS...
-
【HDFS】如果文件的lastblock的最后一個chunk不滿512字節(jié)，會生成checksum么？
如題，本文試圖弄清楚這樣一個問題：如果文件的最后一個block的最后一個chunk里的數(shù)據(jù)不足512字節(jié)，那么還會為其生成checksum么？ ...
-
【HDFS】FsDatasetSpi#adjustCrcChannelPosition
FsDatasetSpi接口里定義adjustCrcChannelPosition方法。應(yīng)用場景在：append，block recovery等...