2.Spark之于Hadoop
更準確地說，Spark是一個計算框架，而Hadoop中包含計算框架MapReduce和分布式文件系統HDFS，Hadoop更廣泛地說還包括在其生態系統上的其他系統，如Hbase、Hive等。
Spark是MapReduce的替代方案，而且兼容HDFS、Hive等分布式存儲層，可融入Hadoop的生態系統，以彌補缺失MapReduce的不足。
Spark相比Hadoop MapReduce的優勢[插圖]如下。
（1）中間結果輸出
基于MapReduce的計算引擎通常會將中間結果輸出到磁盤上，進行存儲和容錯。出于任務管道承接的考慮，當一些查詢翻譯到MapReduce任務時，往往會產生多個Stage，而這些串聯的Stage又依賴于底層文件系統（如HDFS）來存儲每一個Stage的輸出結果。
Spark將執行模型抽象為通用的有向無環圖執行計劃（DAG），這可以將多Stage的任務串聯或者并行執行，而無須將Stage中間結果輸出到HDFS中。類似的引擎包括Dryad、Tez。
（2）數據格式和內存布局
由于MapReduce Schema on Read處理方式會引起較大的處理開銷。Spark抽象出分布式內存存儲結構彈性分布式數據集RDD，進行數據的存儲。RDD能支持粗粒度寫操作，但對于讀取操作，RDD可以精確到每條記錄，這使得RDD可以用來作為分布式索引。Spark的特性是能夠控制數據在不同節點上的分區，用戶可以自定義分區策略，如Hash分區等。Shark和Spark SQL在Spark的基礎之上實現了列存儲和列存儲壓縮。
（3）執行策略
MapReduce在數據Shuffle之前花費了大量的時間來排序，Spark則可減輕上述問題帶來的開銷。因為Spark任務在Shuffle中不是所有情景都需要排序，所以支持基于Hash的分布式聚合，調度中采用更為通用的任務執行計劃圖（DAG），每一輪次的輸出結果在內存緩存。
（4）任務調度的開銷
傳統的MapReduce系統，如Hadoop，是為了運行長達數小時的批量作業而設計的，在某些極端情況下，提交一個任務的延遲非常高。
Spark采用了事件驅動的類庫AKKA來啟動任務，通過線程池復用線程來避免進程或線程啟動和切換開銷。
3.Spark能帶來什么
Spark的一站式解決方案有很多的優勢，具體如下。
（1）打造全棧多計算范式的高效數據流水線
Spark支持復雜查詢。在簡單的“map”及“reduce”操作之外，Spark還支持SQL查詢、流式計算、機器學習和圖算法。同時，用戶可以在同一個工作流中無縫搭配這些計算范式。
（2）輕量級快速處理
Spark 1.0核心代碼只有4萬行。這是由于Scala語言的簡潔和豐富的表達力，以及Spark充分利用和集成Hadoop等其他第三方組件，同時著眼于大數據處理，數據處理速度是至關重要的，Spark通過將中間結果緩存在內存減少磁盤I/O來達到性能的提升。
（3）易于使用，Spark支持多語言
Spark支持通過Scala、Java及Python編寫程序，這允許開發者在自己熟悉的語言環境下進行工作。它自帶了80多個算子，同時允許在Shell中進行交互式計算。用戶可以利用Spark像書寫單機程序一樣書寫分布式程序，輕松利用Spark搭建大數據內存計算平臺并充分利用內存計算，實現海量數據的實時處理。
（4）與HDFS等存儲層兼容
Spark可以獨立運行，除了可以運行在當下的YARN等集群管理系統之外，它還可以讀取已有的任何Hadoop數據。這是個非常大的優勢，它可以運行在任何Hadoop數據源上，如Hive、HBase、HDFS等。這個特性讓用戶可以輕易遷移已有的持久化層數據。
（5）社區活躍度高
Spark起源于2009年，當下已有超過50個機構、260個工程師貢獻過代碼。開源系統的發展不應只看一時之快，更重要的是支持一個活躍的社區和強大的生態系統。
同時我們也應該看到Spark并不是完美的，RDD模型適合的是粗粒度的全局數據并行計算。不適合細粒度的、需要異步更新的計算。對于一些計算需求，如果要針對特定工作負載達到最優性能，還是需要使用一些其他的大數據系統。例如，圖計算領域的GraphLab在特定計算負載性能上優于GraphX，流計算中的Storm在實時性要求很高的場合要比Spark Streaming更勝一籌。
隨著Spark發展勢頭日趨迅猛，它已被廣泛應用于Yahoo!、Twitter、阿里巴巴、百度、網易、英特爾等各大公司的生產環境中。
