現在打算學習一些關于分布式，大數據，和hadoop的知識，創建一個筆記本，作為入門的筆記。
1. 安裝hadoop
http://www.lxweimin.com/p/da650254762c
2. 配置hadoop（偽分布的模式）
http://www.lxweimin.com/p/8acdd5d912dc
3. hadoop 是什么?
hadoop 是Apache 軟件基金會旗下的一個開源分布式計算平臺。以hadoop 文件系統（hdfs）和 mapreduce （google 提出的mapreduce計算框架）為核心的分布式基礎架構。
hdfs 類似于 gfs，是用一群廉價的pc，組成一個高性能的文件系統。具有高容錯性，可靠性，高伸縮性等優點。
mapreduce 是一個分布式的編程模型，允許用戶在不了解分布式底層細節的情況下，寫出并行的分布式程序，完成海量數據的處理。
hadoop核心設計，參考了google的三篇非常著名的paper，一個是google file system，mapreduce，bigtable。寫得非常好，如果英語基礎不差的人，強烈建議讀一下原文。
原文的鏈接
google file system ：http://dl.acm.org/citation.cfm?id=945450
mapreduce：http://dl.acm.org/citation.cfm?id=1327492
bigtable：http://dl.acm.org/citation.cfm?id=1365816
4. hadoop原理簡介
<ul>
<li>1. hdfs</li>
關于hdfs這一部分的理論知識，我的參考資料的是gfs這篇paper，他們兩個的設計理念是相同的。
hdfs/gfs的特點是：
<ol>
<li> google 為了處理海量的數量，開發了這個文件系統，所以他的一個特點是適合處理超大的文件。（反而是小文件 會降低gfs的性能）</li>
<li> 運行在廉價的系統之上，并不是很貴的server ，而是普通的pc。這也是google的一個特點，喜歡在一個廉價的pc之上堆出一個牛x的系統。這也帶來另外一個問題，就是在一個大規模的系統上，單點故障的雖然很小，但是乘以一個很大的規模，結點的故障也會變成一個常態。（比如pc的故障率是0.00001，但是一個集群有10w臺設備，那么總是會有幾臺設備 處于故障中）。所以，整個系統必須要考慮容錯性。</li>
<li>對文件操作的特點是，一次寫入，多次讀取。對文件的修改，是基本上不允許的，只能是對文件進行追加寫。這也是google業務的一個特點，因為在保存網頁或其他數據的時候，只是需要一次寫入就好，然后不斷的查詢，不斷的讀取。基本上不會對文件進行修改，只是追加的去寫。</li>
</ol>
gfs/hdfs 這樣的特點，帶來的問題就是：
<ol>
<li>實時性比較弱，對數據的查詢是分鐘級別的。對于實時響應的是業務，可以使用HBase。</li>
<li>對大量的小文件的支持不好，這個是因為namenode的大小是有限的，一個索引的文件大小是固定的，文件越多，這樣占據namenode 的空間越多，這樣降低的namenode的性質。 </li>
<li>hdfs 只能有一個寫入者，并且只能是追加寫。不支持多個寫入者。</li>
</ol>
hdfs的架構簡介
一個完整的hdfs運行在一些結點之上，這些結點運行著不同類型的守護進程，如namenode，datanode，secondarynode，不同的結點相互配合，一起構成了hdfs。
Namenode：namenode是一個名稱節點，是hdfs的大腦，它維護著文件系統的目錄樹。
Secondarynode：第二個名字節點，用于備份，一旦namenode掛掉，那么secondarynode就補上。
datanode：data節點用來存儲數據。
Client：客戶機是用來讀寫數據。
具體分析： 關于hdfs讀寫的具體流程（參見一個網頁鏈接和書）
<br />
<li>2. 計算框架 Mapreduce </li>mapreduce源自google的一篇文章，大概的設計思想是分治的思想，把計算的任務分布在不同的計算節點上，并行的去完成，然后不斷的歸并結果。主要對數據處理的過程是 map（映射）和reduce（化簡）。
優點：
<ol><li>mapreduce計算模型向用戶屏蔽了分布式系統編程的細節，用戶不必考慮進程間通訊等細節，只需要將精力關注在編寫map和reduce函數即可。</li>
<li>可擴展性強: 當計算能力不足的時候，可以通過增加計算節點，來增加系統的計算能力 </li>
<li> 容錯性強: 對于節點故障，mapreduce計算框架會很方便的將自己的作業安排到其他的節點來完成運算。</li></ol>
具體分析：
mapreduce一個簡單例子。 見書 p98頁
<br />
<li>3. 數據庫Hbase</li>
<br />
<li>4. Hive</li>
<br />
</ul>
參考資料：
hadoop的官方文檔：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html#Namenode+%E5%92%8C+Datanode
《hadoop 權威指南》
《hadoop 海量數據處理》 范東來
《hadoop 實戰》陸嘉恒
