發(fā)簡(jiǎn)信
IP屬地：廣東
-
HDFS 架構(gòu)HDFS 架構(gòu) HDFS 涉及兩個(gè)重要進(jìn)程：NameNode、DataNode。他們一般都部署單獨(dú)部署在不同服務(wù)器上，運(yùn)行 NameNode 的...
-
Hadoop筆記規(guī)劃
歡迎大家閱讀、留言、評(píng)論。 準(zhǔn)備工作 Linux安裝及其靜態(tài)IP配置，安裝JDK與Tomcat[http://www.lxweimin.com/...
-
Hadoop集群部署準(zhǔn)備 準(zhǔn)備3臺(tái)客戶機(jī)，（關(guān)閉防火墻、靜態(tài)IP、主機(jī)名稱），配置ssh。我配置了4臺(tái)； 安裝JDK，配置JAVA_HOME環(huán)境變量； 安裝Hado...
-
寫幾個(gè)好用的Linux腳本
xsync 集群通常需要同步配置文件，是不是可以寫個(gè)腳本快速同步配置文件呢？這里 xsync 腳本是基于 rsync 的。相對(duì)于scp，rsyn...
-
大數(shù)據(jù)前序時(shí)至今日，計(jì)算機(jī)軟件成為人們?nèi)粘Ｉ畹谋貍淦贰Ｄ苡糜?jì)算機(jī)軟件提高效率的地方，幾乎已經(jīng)被全部發(fā)掘過(guò)了。在這種情況下，如果想讓軟件再成百上千倍地提高...
-
四、Yarn剛開始MapReduce框架是包含 MapReduce和資源調(diào)度的，也就是說(shuō) MapReduce與資源調(diào)度耦合在一起。隨著大數(shù)據(jù)的發(fā)展，Hado...
-
三、MapReduce編程模型與計(jì)算框架MapReduce 既是一個(gè)編程模型，又是一個(gè)計(jì)算框架。也就是說(shuō)，開發(fā)人員基于 MapReduce 編程模型進(jìn)行編程開發(fā)，然后將程序通過(guò) Map...
-
二、HDFS 概述與基本使用
HDFS 作為最早的大數(shù)據(jù)存儲(chǔ)系統(tǒng)，存儲(chǔ)著寶貴的數(shù)據(jù)資產(chǎn)，各種新的算法、框架要想得到人們的廣泛使用，必須支持 HDFS 才能獲取已經(jīng)存儲(chǔ)在里面的...
-
一、初識(shí)Hadoop
Hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行...