Shuffle 操作 （官方編程指南翻譯）
原文地址： http://spark.apache.org/docs/latest/programming-guide.html#shuffle-operations
文章僅限交流使用，轉載請注明出處。如有錯誤，歡迎指出！
Henvealf/譯
在 Spark 觸發(fā)一個事件的時確定無疑的發(fā)生的操作就叫做 shuffle 。Shuffle 是 Spark 重建數據的機制，來將來自不同分區(qū)的數據進行分組。典型的麻煩就是需要在執(zhí)行器和機器之間進行數據拷貝，是 shuffle 中一個復雜并且大開銷的操作。
背景
為了理解 shuffle 過程中發(fā)生了什么，我們可以考慮一下 reduceByKey 操作。 reduceByKey 操作會將相同key中的值聚合進一個元祖中而生成一個新的 RDD -- 值的合并操作是依賴于key的。這里的挑戰(zhàn)就是在 key 中，并不是所有值都被分在了一個分區(qū)里，或者說不是在相同的機器里，但是他們必須要放在一個地方才能計算出結果。
在 Spark 中， 對于指定的操作，數據在一般情況下不是按照分區(qū)來分布到必要的地方。在計算過程中，一個單獨的任務將會在一個單獨的分區(qū)上操作，事實上，如果將所有的數據組織在一個單獨的 reduceByKey 匯合任務上去執(zhí)行的話，Spark 需要去執(zhí)行一個多對多(all-to-all，多個task與多個分區(qū)？)的操作.他必須從所有的分區(qū)中為每一個 key 尋找他們的 values，然后跨越分區(qū)將同key的值帶到一起去計算最后的結果--這個過程就叫做 shuffle。
盡管在經歷了shuffle數據之后的每個分區(qū)中的元素是確定的，但分區(qū)內部自己進行排序，所以他們的元素的也能是無順序的。如果想要在 shuffle 后希望是有序的，使用下面的方式就能做到：
- mapPartitions 使用像 sorted 一樣的方法去排序每個分區(qū)。
- 當重新分區(qū)的同時可以使用 repartitionAndSortWithinPartitions 來對分區(qū)進行快速的排序。
- sordBy 可一全局的排序一整個 RDD。
想 repartition 和 coalesce 這種重新分區(qū)的操作，groupByKey 和 reduceByKey 這種 ‘ByKey’ 操作 和 cogroup 和 join 這種 join 操作也都會觸發(fā) shuffle，
效率影響
Shuffle 是一個開銷很大的操作，他會同時用到 磁盤讀寫，數據序列化以及網絡讀寫。為了為 shuffle操作組織數據， Spark 會產生 -map 與 -reduce 兩種任務，是從 MapReduce 中得來的名詞，與 Spark 中 map 與 reduce 函數不是同一個東西。
內建的情況下， 從 map 任務生成的結果會一直放在內存中，直到內存放不下。然后，數據會基于分區(qū)進行排序，然后寫進一個文件中。在 reduce 端，就直接讀取與之相關的已經排序好的塊。
確定的 shuffle 操作能夠消費客觀數量的堆內存，在傳輸記錄之后，他使用的是內存中的數據結構來組織這些記錄。特別的，reduceByKey 和 aggregateByKey 在 map 端創(chuàng)建這些結構和 ByKey操作在 reduce 端產生他們(??)。如果數據在內存中放不小了，就放入磁盤中并增強垃圾收集。
Shuffle 也會在磁盤上產生大量的中間文件。像 Spark 1.3，直到相應的 RDD 不在被使用和垃圾收集，這些文件會一直保存著。所以如果 lineage 沒有被重新運算， shuffle 文件就不需要重建了。如果應用程序維持著對著些 RDD 的引用或者 GC 內有頻繁的 kick，垃圾收集可能會經過很長的周期才發(fā)生。這意味著一個需要運行很長時間的 Spark job 與需要消耗大量的磁盤空間。中間文件的存儲路徑在配置 Spark context 的時候使用 spark.local.dir 來指定。
Shuffle行為能夠使用各種各樣的配置參數來調節(jié)。詳細請看 Spark Configuration Guide 的 Shuffle Behavior 章節(jié)。
