Hadoop項目基本

Common : 一系列 組件和接口,用于分布式文件系統和通用I/O(序列化,java RPC和持久化數據結構)
Avro : 一種序列化系統,用于支持高效,快語言的RPC和持久化數據存儲
MapReduce : 分布式數據處理模型和執行華景,運行于大型商用機集群
HDFS : 分布式文件系統,云星宇大型商用機集群
Pig:數據流語言和運行環境,用于探究非常龐大的數據集.Pig運行在MapReduce和HDFS集群上
Hive: 一種分布式的,按列存儲的數據倉庫.Hive管理HDFS中存儲的數據,并提供基于SQL的查詢語言用于查詢數據
HBase:一種分布式.按列存儲的數據庫.HBase使用HDFS作為底層存儲,同事支持MapReduce的批量式計算和點查詢
zookeeper : 一種分布式,可用性高的協調服務.zookeeper提供分布式鎖之類的基本服務用于構建分布式應用
Sqoop : 該工具用于結構化數據存儲和HDFS之間高效批量傳輸數據
Oozie : 該服務用于運行和調度Hadoop作業

最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發布，文章內容僅代表作者本人觀點，簡書系信息發布平臺，僅提供信息存儲服務。

推薦閱讀更多精彩內容