在這篇文章中,我們將討論Hadoop 2.x與Hadoop 3.x之間的比較。 Hadoop3版本中添加了哪些新功能,Hadoop3中兼容的Hadoop 2程序,Hadoop 2和Hadoop 3有什么區別? 我們希望Hadoop 2和Hadoop 3之間的這個功能的區別將幫助回答上述問題。
Hadoop 2.x與Hadoop 3.x之間的功能比較
本節將講述Hadoop 2.x與Hadoop 3.x之間的22個差異。 現在讓我們逐一討論
1.License
adoop 2.x - Apache 2.0,開源
Hadoop 3.x - Apache 2.0,開源
2.支持的最低Java版本
Hadoop 2.x - java的最低支持版本是java 7
Hadoop 3.x - java的最低支持版本是java 8
3.容錯
Hadoop 2.x - 可以通過復制(浪費空間)來處理容錯。
Hadoop 3.x - 可以通過Erasure編碼處理容錯。
4.數據平衡
Hadoop 2.x - 對于數據,平衡使用HDFS平衡器。
Hadoop 3.x - 對于數據,平衡使用Intra-data節點平衡器,該平衡器通過HDFS磁盤平衡器CLI調用。
5.存儲Scheme
Hadoop 2.x - 使用3X副本Scheme
Hadoop 3.x - 支持HDFS中的擦除編碼。
6.存儲開銷
Hadoop 2.x - HDFS在存儲空間中有200%的開銷。
Hadoop 3.x - 存儲開銷僅為50%。
7.存儲開銷示例
Hadoop 2.x - 如果有6個塊,那么由于副本方案(Scheme),將有18個塊占用空間。
Hadoop 3.x - 如果有6個塊,那么將有9個塊空間,6塊block,3塊用于奇偶校驗。
8.YARN時間線服務
Hadoop 2.x - 使用具有可伸縮性問題的舊時間軸服務。
Hadoop 3.x - 改進時間線服務v2并提高時間線服務的可擴展性和可靠性。
9.默認端口范圍
Hadoop 2.x - 在Hadoop 2.0中,一些默認端口是Linux臨時端口范圍。所以在啟動時,他們將無法綁定。
Hadoop 3.x - 但是在Hadoop 3.0中,這些端口已經移出了短暫的范圍。
10.工具
Hadoop 2.x - 使用Hive,pig,Tez,Hama,Giraph和其他Hadoop工具。
Hadoop 3.x - 可以使用Hive,pig,Tez,Hama,Giraph和其他Hadoop工具。
11.兼容的文件系統
Hadoop 2.x - HDFS(默認FS),FTP文件系統:它將所有數據存儲在可遠程訪問的FTP服務器上。 Amazon S3(簡單存儲服務)文件系統Windows Azure存儲Blob(WASB)文件系統。
Hadoop 3.x - 它支持所有前面以及Microsoft Azure Data Lake文件系統。
12.Datanode資源
Hadoop 2.x - Datanode資源不專用于MapReduce,我們可以將它用于其他應用程序。
Hadoop 3.x - 此處數據節點資源也可用于其他應用程序。
13.MR API兼容性
Hadoop 2.x - 與Hadoop 1.x程序兼容的MR API,可在Hadoop 2.X上執行
Hadoop 3.x - 此處,MR API與運行Hadoop 1.x程序兼容,以便在Hadoop 3.X上執行
14.支持Microsoft Windows
Hadoop 2.x - 它可以部署在Windows上。
Hadoop 3.x - 它也支持Microsoft Windows。
15.插槽/容器
Hadoop 2.x - Hadoop 1適用于插槽的概念,但Hadoop 2.X適用于容器的概念。通過容器,我們可以運行通用任務。
Hadoop 3.x - 它也適用于容器的概念。
16.單點故障
Hadoop 2.x - 具有SPOF的功能,因此只要Namenode失敗,它就會自動恢復。
Hadoop 3.x - 具有SPOF的功能,因此只要Namenode失敗,它就會自動恢復,無需人工干預就可以克服它。
17.HDFS聯盟
Hadoop 2.x - 在Hadoop 1.0中,只有一個NameNode來管理所有Namespace,但在Hadoop 2.0中,多個NameNode用于多個Namespace。
Hadoop 3.x - Hadoop 3.x還有多個名稱空間用于多個名稱空間。
18.可擴展性
Hadoop 2.x - 我們可以擴展到每個群集10,000個節點。
Hadoop 3.x - 更好的可擴展性。 我們可以為每個群集擴展超過10,000個節點。
19.更快地訪問數據
Hadoop 2.x - 由于數據節點緩存,我們可以快速訪問數據。
Hadoop 3.x - 這里也通過Datanode緩存我們可以快速訪問數據。
20.HDFS快照
Hadoop 2.x - Hadoop 2增加了對快照的支持。 它為用戶錯誤提供災難恢復和保護。
Hadoop 3.x - Hadoop 2也支持快照功能。
21.平臺
Hadoop 2.x - 可以作為各種數據分析的平臺,可以運行事件處理,流媒體和實時操作。
Hadoop 3.x - 這里也可以在YARN的頂部運行事件處理,流媒體和實時操作。
22.群集資源管理
Hadoop 2.x - 對于群集資源管理,它使用YARN。 它提高了可擴展性,高可用性,多租戶。
Hadoop 3.x - 對于集群,資源管理使用具有所有功能的YARN。
小伙伴們想了解更多的大數據相關技術可以點擊文章末尾“了解更多”查看