看到一篇講解Hadoop生態(tài)系統(tǒng)還比較全的文章，分享給大家~
Hadoop是什么？
Hadoop是一個開發(fā)和運行處理大規(guī)模數(shù)據(jù)的軟件平臺,是Apache的一個用java語言實現(xiàn)開源軟件框架，實現(xiàn)在大量計算機組成的集群中對海量數(shù)據(jù)進(jìn)行分布式計算。
Hadoop生態(tài)系統(tǒng)：
Hadoop框架中最核心設(shè)計就是：HDFS和MapReduce.HDFS提供了海量數(shù)據(jù)的存儲,MapReduce提供了對數(shù)據(jù)的計算。
詳情：
HDFS--Hadoop生態(tài)圈的基本組成部分是Hadoop分布式文件系統(tǒng)（HDFS）。HDFS是一種數(shù)據(jù)分布式保存機制，數(shù)據(jù)被保存在計算機集群上，HDFS為HBase等工具提供了基礎(chǔ)。
MapReduce--Hadoop的主要執(zhí)行框架是MapReduce，它是一個分布式、并行處理的編程模型，MapReduce把任務(wù)分為map(映射)階段和reduce(化簡)。由于MapReduce工作原理的特性，Hadoop能以并行的方式訪問數(shù)據(jù)，從而實現(xiàn)快速訪問數(shù)據(jù)。
Hbase--HBase是一個建立在HDFS之上，面向列的NoSQL數(shù)據(jù)庫，用于快速讀/寫大量數(shù)據(jù)。HBase使用Zookeeper進(jìn)行管理，確保所有組件都正常運行。
Zookeeper--用于Hadoop的分布式協(xié)調(diào)服務(wù)。Hadoop的許多組件依賴于Zookeeper，它運行在計算機集群上面，用于管理Hadoop操作。
Pig--它是MapReduce編程的復(fù)雜性的抽象。Pig平臺包括運行環(huán)境和用于分析Hadoop數(shù)據(jù)集的腳本語言(Pig Latin)。其編譯器將Pig Latin翻譯成MapReduce程序序列。
Hive--Hive類似于SQL高級語言，用于運行存儲在Hadoop上的查詢語句，Hive讓不熟悉MapReduce開發(fā)人員也能編寫數(shù)據(jù)查詢語句，然后這些語句被翻譯為Hadoop上面的MapReduce任務(wù)。像Pig一樣，Hive作為一個抽象層工具，吸引了很多熟悉SQL而不是Java編程的數(shù)據(jù)分析師。
Sqoop是一個連接工具，用于在關(guān)系數(shù)據(jù)庫、數(shù)據(jù)倉庫和Hadoop之間轉(zhuǎn)移數(shù)據(jù)。Sqoop利用數(shù)據(jù)庫技術(shù)描述架構(gòu)，進(jìn)行數(shù)據(jù)的導(dǎo)入/導(dǎo)出；利用MapReduce實現(xiàn)并行化運行和容錯技術(shù)。
Flume提供了分布式、可靠、高效的服務(wù)，用于收集、匯總大數(shù)據(jù)，并將單臺計算機的大量數(shù)據(jù)轉(zhuǎn)移到HDFS。它基于一個簡單而靈活的架構(gòu)，并提供了數(shù)據(jù)流的流。它利用簡單的可擴展的數(shù)據(jù)模型，將企業(yè)中多臺計算機上的數(shù)據(jù)轉(zhuǎn)移到Hadoop
也就會說如果你要學(xué)習(xí)Hadoop,就一定需要知道以上技術(shù)才算了解！
然而網(wǎng)絡(luò)上詳細(xì)的、系統(tǒng)的講解Hadoop生態(tài)系統(tǒng)的博文和課程都較少，但是實驗樓有這樣一個課程詳細(xì)而系統(tǒng)的介紹了Hadoop生態(tài)環(huán)境，希望對Hadoop感興趣的小伙伴有所幫助~
Hadoop課程：
課程較為全面、系統(tǒng)的介紹了Hadoop生態(tài)環(huán)境，對生態(tài)圈中的組件進(jìn)行講解并進(jìn)行上機練習(xí)；
課程實驗：
Hadoop介紹及1.X偽分布式安裝
介紹了Hadoop生態(tài)圈和版本衍化，講解了Hadoop部署所需的環(huán)境和過程
Hadoop2.X 64位編譯
由于Hadoop官網(wǎng)提供的安裝包只支持32位，64位服務(wù)器需要手動編譯，編譯重要的是配置好環(huán)境
Hadoop2.X 64位環(huán)境搭建
與本系列第1個實驗這個實驗重點介紹的Hadoop2.X部署，相比Hadoop1.X增加了YARN組件
HDFS原理及操作
介紹Hadoop1.X下HDFS原理，并用三個例子進(jìn)行演示
MapReduce原理及操作
介紹了MapReduce原理并動手計算了NCDC的最低溫度和平均溫度
MapReduce應(yīng)用案例
通過練習(xí)MapReduce案例，加深對MapReduce原理的了解
Pig介紹、安裝與應(yīng)用案例
首先介紹了Pig，然后介紹Pig的安裝和應(yīng)用案例，可以體驗到使用Pig是一件非常簡單的事情
Hive介紹和安裝部署
本課先介紹了Hive，然后安裝MySql，最后進(jìn)行部署Hive并進(jìn)行驗證
Mahout介紹、安裝與應(yīng)用案例
簡單介紹了Mahout，并描述了Mahout的部署和應(yīng)用案例
HBase介紹、安裝與應(yīng)用案例
本課程先介紹了HBase的原理，然后講解了HBase的安裝和基本命令操作
Sqoop介紹、安裝與操作
介紹了Sqoop兩個版本的異同，然后介紹了Sqoop的安裝部署，最后用例子演示數(shù)據(jù)導(dǎo)入/導(dǎo)出
Flume介紹與安裝
對Flume進(jìn)行了介紹，并描述了Flume的部署過程
Chukwa介紹與安裝部署
簡單介紹了Chukwa并在此基礎(chǔ)上描述了安裝部署過程
相關(guān)課程
基礎(chǔ)課：
項目課：
以上課程均可到實驗樓網(wǎng)站免費在線學(xué)習(xí)，無需搭建環(huán)境，文檔引導(dǎo)~
另外：自己在網(wǎng)上找了以下資料：
希望以上內(nèi)容能對大數(shù)據(jù)感興趣的小伙伴有所幫助~
via:實驗樓（www.shiyanlou.com）官方微信
