騰訊分布式數據倉庫(Tencent distributed Data Warehouse, 簡稱TDW)基于開源軟件Hadoop和Hive進行構建，并且根據公司數據量大、計算...
發簡信
IP屬地：江蘇
-
全面解析騰訊大數據計算引擎——Shuffle -
spark 4種 shuffle機制與mapreduce shuffle機制對比縱觀整個mapreduce過程會發現存在許多的排序和文件合并操作。 為什么要排序，主要原因有： 1、key的存在combiner操作，排序之后相同的key放到一塊顯然方便做合...
-
消息中間件面試題：如何保證消息的順序性面試題 如何保證消息的順序性？ 消息中間件各種面試題：消息中間件面試題：消息丟失怎么辦？消息中間件面試題：消息隊列的優缺點，區別消息中間件面試題：消息中間件的高可用消息中間件...
-
MapReduce過程詳解及其性能優化MapReduce過程詳解及其性能優化 [toc] 轉載：MapReduce過程詳解及其性能優化 總結 詳情 從JVM的角度看Map和Reduce： 1. Map階段包括 ...
-
MapReduce工作機制轉載：MapReduce工作機制 第一部分： 運行流程 當你在MapReduce程序中調用了Job實例的Submit()或者waitForCompletion()方法，該程序...
-
mapreduce框架詳解參考：hadoop 學習筆記：mapreduce框架詳解 [toc] 總結 Mapreduce是一個計算框架，既然是做計算的框架，那么表現形式就是有個輸入（input），ma...
