Spark Shuffle演進

  • ShuffleManager
    • HashShuffleManager
    • SortShuffleManager
    • UnSafeShuffleManager

歷史演進

  • Hash Based Shuffle V1 (M * R)
  • Hash Based Shuflle V2 (C * R)
  • Sort Based Shuflle (M)
  • Tungsten-Sort Based Shuffle (二進制存儲，agg，partition num)
  • Tungsten-sort并入Sort Based Shuffle
  • Hash Based Shuffle退出歷史舞臺
最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發布，文章內容僅代表作者本人觀點，簡書系信息發布平臺，僅提供信息存儲服務。

推薦閱讀更多精彩內容