發(fā)簡信
IP屬地：上海
-
開源項目——大數(shù)據(jù)入門指南開源項目地址：https://github.com/heibaiying/BigData-Notes ?? 前 言 大數(shù)據(jù)技術(shù)棧思維導圖 ...
-
Hadoop 系列（八）—— 基于 ZooKeeper 搭建 Hadoop 高可用集群
一、高可用簡介 Hadoop 高可用 (High Availability) 分為 HDFS 高可用和 YARN 高可用，兩者的實現(xiàn)基本類似，但...
-
Hadoop 系列（七）—— HDFS Java API
一、 簡介 想要使用 HDFS API，需要導入依賴 hadoop-client。如果是 CDH 版本的 Hadoop，還需要額外指明其倉庫地址...
-
Hadoop 系列（六）—— HDFS 常用 Shell 命令
1. 顯示當前目錄結(jié)構(gòu) 2. 創(chuàng)建目錄 3. 刪除操作 4. 從本地加載文件到 HDFS 5. 從 HDFS 導出文件到本地 6. 查看文件內(nèi)容...
-
Hadoop 系列（五）—— Hadoop 集群環(huán)境搭建
一、集群規(guī)劃 這里搭建一個 3 節(jié)點的 Hadoop 集群，其中三臺主機均部署 DataNode 和 NodeManager 服務，但只有 ha...
-
Hadoop 系列（四）—— Hadoop 開發(fā)環(huán)境搭建
一、前置條件 Hadoop 的運行依賴 JDK，需要預先安裝，安裝步驟見： Linux 下 JDK 的安裝 二、配置免密登錄 Hadoop 組件...
-
Hadoop 系列（三）—— 分布式計算框架 MapReduce
一、MapReduce概述 Hadoop MapReduce 是一個分布式計算框架，用于編寫批處理應用程序。編寫好的程序可以提交到 Hadoop...
-
Hadoop 系列（二）—— 集群資源管理器 YARN一、hadoop yarn 簡介 Apache YARN (Yet Another Resource Negotiator) 是 hadoop ...
-
Hadoop 系列（一）—— 分布式文件系統(tǒng) HDFS一、介紹 HDFS （Hadoop Distributed File System）是 Hadoop 下的分布式文件系統(tǒng)，具有高容錯、高吞吐量等...