發簡信
IP屬地：浙江
-
Shuffle的執行階段流程
1).Collect階段：將MapTask的結果輸出到默認大小為100M的環形緩沖區，保存的是key/value序列化數據，Partition分...
-
大數據面試題以及答案整理（一）
hadoop的shuffle過程 一、Map端的shuffle Map端會處理輸入數據并產生中間結果，這個中間結果會寫到本地磁盤，而不是HDFS...
-
日志清洗案例
1.簡單解析版 需求:去除日志中字段長度小于等于11的日志。 輸入數據 實現代碼: 編寫LogMapper package com.itstar...
-
HDFS環境準備1.配置Maven 2.修改本地倉庫位置 3.配置鏡像地址 4.pom文件配置 <dependencies><dependency> ...
-
大數據學習之MapReduce
1.MapReduce定義 Mapreduce是一個分布式運算程序的編程框架，是用戶開發“基于hadoop的數據分析應用”的核心框架。 Mapr...
-
HFDS命令行操作
二、HFDS命令行操作 1）基本語法 bin/hadoop fs具體命令 2）參數大全 bin/hadoop fs [-appendToFile...
-
HDFS文件系統一HDFS概念 1.1概念 HDFS，它是一個文件系統，全稱：Hadoop Distributed File System，用于存儲文件通過目錄...
-
大數據技術之Hadoop
1、Hadoop的優勢 1)高可靠性 因為Hadoop假設計算元素和存儲會出現故障，因為它維護多個工作數據副本，在出現故障時可以對失敗的節點重新...
-
HDFS讀流程1）客戶端向namenode請求下載文件，namenode通過查詢元數據，找到文件塊所在的datanode地址。 2）挑選一臺datanode（...