hadoop和Spark是兩種不同的大數據生態系統，Hadoop框架比較側重離線大批量計算，而spark框架則側重于內存和實時計算。

在這些基礎上，衍生出了一些常用的附屬組件，比如Hadoop生態下的HBASE、hive、HDFS等，HDFS可用于數據存儲，MR可用于分布式計算框架。同樣，在spark的基礎上也衍生出了很多組件，比如spark streaming、spark SQL、mllib等。其中spark score完全可以代替MR，spark中不僅可以有reduce操作，同時也提供了其他諸如filter sortby等操作，要比MR方便很多，同時，spark SQL可以直接把hive上的文件映射成一張表，來進行表操作。

各自的組件都非常豐富，往往也不容易學。

Hadoop

大數據是一個概念，hadoop是來實現這個概念的工具、技術，它們之間并沒有絕對的聯系。Hadoop作為一代分布式系統的基礎，特別是第二代Hadoop YARN推出以后，這個位置更加牢固。目前在市面上并沒有可以與之相匹敵的系統存在。

具體的學習

1.編程基礎，比如Java，C，python，linux，有這些基礎學起來就會很快上手。

2.詳細研究，現在大型網站包括Sina，騰訊網（門戶），Weibo（微博），天貓，京東（電商）的架構與實現，先從自己的角度去理解，然后去跟實際情況做比對，提升自己對數據和技術的敏感程度。

3.熟悉并理解，目前阿里，騰訊，百度內部的系統或多或少都是借鑒于Hadoop的。運用Hadoop對于你以后在大型計算機公司任職非常重要。

4.理解分布式系統設計中的原則以及方法，例如負載均衡，故障恢復，并發程序設計，并發數據結構，等等。理解這些設計原理，并走入底層讀懂每一行Hadoop的源碼更加的重要。

Spark

Spark只是分布式計算平臺，而hadoop已經是分布式計算、存儲、管理的生態系統。與Spark相對應的是Hadoop MapReduce。

Spark相對于Hadoop的優勢，分布式計算僅僅是hadoop的一部分。從內容上來說，還是有些對比：

1、更快

2、更加容易使用

配置起來超級方便。除支持JAVA外，支持scala、python、R。特別是scala，簡直是太適合寫數據分析的程序了，mapreduce用JAVA實在是太蛋疼了。而且RDD自帶的函數

3、巨好用的庫能解決90%問題的四大組件，無論是SQL、還是流數據處理、機器學習庫、圖計算，相當好用。當然，hadoop相關的庫也不少，不過spark是原生包含，用起來方便點。 4、運行方便

Spark是可以脫離hadoop運行的，比如數據可以從數據庫或者本地文件里面抽取。不過畢竟大數據時代，大家都習慣于將Spark和hadoop通過mesos或者yarn結合起來用；主要用Hadoop的HDFS，當然HBASE或者HIVE這種HDFS之上的組件，Spark也支持。

具體的學習：

1、熟悉如何去寫spark的程序；

2、實踐到一定程度之后，逐漸的通過spark運行日志對spark的運行機制和原理有了解。

看架構、源碼。試試看一些解讀源碼的圖書， Spark的相關知識就已經開始沉淀了。

3、了解spark的各個調度器如何實現，之前總是出現在眼睛里的那個寬依賴窄依賴、和stage的切分，task首選位置的確定等。隨著不斷深入，嘗試看底層的block如何讀如何寫，之間如何協調通訊等等。