開源項(xiàng)目——大數(shù)據(jù)入門指南

開源項(xiàng)目地址：https://github.com/heibaiying/BigData-Notes

?? 前? 言

大數(shù)據(jù)技術(shù)棧思維導(dǎo)圖? ? ? ?

大數(shù)據(jù)常用軟件安裝指南

一、Hadoop

分布式文件存儲(chǔ)系統(tǒng)——HDFS

分布式計(jì)算框架——MapReduce

集群資源管理器——YARN

Hadoop單機(jī)偽集群環(huán)境搭建

Hadoop集群環(huán)境搭建

HDFS常用Shell命令

HDFS Java API的使用

基于Zookeeper搭建Hadoop高可用集群

二、Hive

Hive簡介及核心概念

Linux環(huán)境下Hive的安裝部署

Hive CLI和Beeline命令行的基本使用

Hive 常用DDL操作

Hive 分區(qū)表和分桶表

Hive 視圖和索引

Hive常用DML操作

Hive 數(shù)據(jù)查詢?cè)斀?/a>

三、Spark

Spark Core :

Spark簡介

Spark開發(fā)環(huán)境搭建

彈性式數(shù)據(jù)集RDD

RDD常用算子詳解

Spark運(yùn)行模式與作業(yè)提交

Spark累加器與廣播變量

基于Zookeeper搭建Spark高可用集群

Spark SQL :

DateFrame 和 DataSet

Structured API的基本使用

Spark SQL外部數(shù)據(jù)源

Spark SQL常用聚合函數(shù)

Spark SQL JOIN 操作

Spark Streaming ：

Spark Streaming 簡介

Spark Streaming 基本操作

Spark Streaming 整合 Flume

Spark Streaming 整合 Kafka

四、Storm

Storm和流處理簡介

Storm核心概念詳解

Storm單機(jī)環(huán)境搭建

Storm集群環(huán)境搭建

Storm編程模型詳解

Storm項(xiàng)目三種打包方式對(duì)比分析

Storm集成Redis詳解

Storm集成HDFS/HBase

Storm集成Kafka

五、Flink

TODO

六、HBase

Hbase 簡介

HBase系統(tǒng)架構(gòu)及數(shù)據(jù)結(jié)構(gòu)

HBase基本環(huán)境搭建(Standalone /pseudo-distributed mode)

HBase集群環(huán)境搭建

HBase常用Shell命令

HBase Java API

Hbase 過濾器詳解

HBase 協(xié)處理器詳解

HBase 容災(zāi)與備份

HBase的SQL中間層——Phoenix

Spring/Spring Boot 整合 Mybatis + Phoenix

七、Kafka

Kafka 簡介

基于Zookeeper搭建Kafka高可用集群

Kafka 生產(chǎn)者詳解

Kafka 消費(fèi)者詳解

深入理解Kafka副本機(jī)制

八、Zookeeper

Zookeeper 簡介及核心概念

Zookeeper單機(jī)環(huán)境和集群環(huán)境搭建

Zookeeper常用Shell命令

Zookeeper Java 客戶端——Apache Curator

Zookeeper? ACL權(quán)限控制

九、Flume

Flume簡介及基本使用

Linux環(huán)境下Flume的安裝部署

Flume整合Kafka

十、Sqoop

Sqoop簡介與安裝

Sqoop的基本使用

十一、Azkaban

Azkaban簡介

Azkaban3.x 編譯及部署

Azkaban Flow 1.0 的使用

Azkaban Flow 2.0 的使用

十二、Scala

Scala簡介及開發(fā)環(huán)境配置

基本數(shù)據(jù)類型和運(yùn)算符

流程控制語句

數(shù)組——Array

集合類型綜述

常用集合類型之——List & Set

常用集合類型之——Map & Tuple

類和對(duì)象

繼承和特質(zhì)

函數(shù) & 閉包 & 柯里化

模式匹配

類型參數(shù)

隱式轉(zhuǎn)換和隱式參數(shù)

十三、公共內(nèi)容

大數(shù)據(jù)應(yīng)用常用打包方式

?? 后? 記

資料分享與開發(fā)工具推薦


最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

推薦閱讀更多精彩內(nèi)容

  • 課程一、大數(shù)據(jù)運(yùn)維之Linux基礎(chǔ)本部分是基礎(chǔ)課程，幫大家進(jìn)入大數(shù)據(jù)領(lǐng)域打好Linux基礎(chǔ)，以便更好地學(xué)習(xí)Hado...
    101之歌閱讀 1,522評(píng)論 0贊 2
  • 從忐忑到焦慮 從擔(dān)心到絕望 從黎明到深夜 從昨日到今日 想念成了一種煎熬 從村莊的荷塘到城市的廣場 從庭院里的葡萄...
    聽雪1014閱讀 154評(píng)論 2贊 4
  • 早晨坐地鐵的時(shí)候，看到一位媽媽拖著大行李箱，帶著一個(gè)七八歲的小男孩，小男孩挺機(jī)靈，一號(hào)線地鐵快關(guān)門的那一刻，小男孩...
    珊珊_812c閱讀 280評(píng)論 0贊 3
  • 昨天買了樸樹預(yù)售的數(shù)字專輯，其實(shí)說不上多喜歡樸樹，但是聽了那首《清白之年》，一直想起高中的事情。聽著一個(gè)過氣文藝青...
    58d79cb0719e閱讀 332評(píng)論 0贊 0
  • 0. 本文部分參考自https://blog.csdn.net/github_35041937/article/d...
    ZTRogers閱讀 3,532評(píng)論 3贊 2