用雨后春筍來(lái)形容每天來(lái)自全球的新項(xiàng)目，一點(diǎn)都不為過(guò)，尤其是與大數(shù)據(jù)相關(guān)的。逆水行舟，不進(jìn)則退，沒有更多的技術(shù)作為支撐，程序員們小心腳步會(huì)跟不上哦。下面就來(lái)盤點(diǎn)10個(gè)洪荒開源大數(shù)據(jù)技術(shù)，大圣眾包威客平臺(tái)（www.dashengzb.cn）為你傾情整理！
1.Apache Beam
ApacheBeam在Java中提供統(tǒng)一的數(shù)據(jù)進(jìn)程管道開發(fā)，并且能夠很好地支持Spark和Flink。而且，它提供了很多在線框架，省卻了開發(fā)者很多學(xué)習(xí)框架的時(shí)間精力。
2.Apache Hive2.1
Hive是建立在Hadoop上的數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)構(gòu)架。隨著最新版本的發(fā)布，ApacheHive的性能和功能都得到了全面提升，它已成為SQL在大數(shù)據(jù)上的最佳解決方案。它提供了一系列的工具，可以用來(lái)進(jìn)行數(shù)據(jù)提取轉(zhuǎn)化加載（ETL）——這是一種可以存儲(chǔ)、查詢和分析存儲(chǔ)在Hadoop中的大規(guī)模數(shù)據(jù)的機(jī)制。
3.Hadoop
高效、可靠、可伸縮的Hadoop——能夠?yàn)槟愕臄?shù)據(jù)存儲(chǔ)項(xiàng)目提供所需的YARN、HDFS和基礎(chǔ)架構(gòu)，并且運(yùn)行主要的大數(shù)據(jù)服務(wù)和應(yīng)用程序。
4.Kafka
Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費(fèi)者規(guī)模網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)。從Spark到NiFi再到第三方插件工具以至于Java到Scala，Kafka都提供了強(qiáng)大的粘合作用，它已成為大數(shù)據(jù)系統(tǒng)在異步和分布式消息之間的最佳選擇。
5.NiFi
堪稱大數(shù)據(jù)工具箱里的瑞士軍刀的ApacheNiFi，是由美國(guó)國(guó)家安全局（NSA）貢獻(xiàn)給Apache基金會(huì)的開源項(xiàng)目，其設(shè)計(jì)目標(biāo)是自動(dòng)化系統(tǒng)間的數(shù)據(jù)流。其中，它的兩個(gè)最重要的特性是強(qiáng)大的用戶界面，以及良好的數(shù)據(jù)回溯工具。基于其工作流式的編程理念，NiFi非常易于使用，而且強(qiáng)大、可靠、高可配置。
6.Phoenix
作為HBase的SQL驅(qū)動(dòng)，Phoenix目前被大量的公司采用，它正在逐漸擴(kuò)大規(guī)模。HDFS支持的NoSQL能夠很好地集成所有工具，Phoenix查詢引擎會(huì)將SQL查詢轉(zhuǎn)換為一個(gè)或多個(gè)HBasescan，并編排執(zhí)行以生成標(biāo)準(zhǔn)的JDBC結(jié)果集。
7.Spark
Spark使用簡(jiǎn)單，而且可以支持所有重要的大數(shù)據(jù)語(yǔ)言，如Scala、Python、Java、R等。同時(shí)，它還擁有強(qiáng)大的生態(tài)系統(tǒng)，且成長(zhǎng)迅速，對(duì)microbatching/batching/SQL的支持也很簡(jiǎn)單。最重要的是，Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的MapReduce的算法。
8.Sparkling Water
H2O填補(bǔ)了Spark’sMachineLearning的缺口，SparklingWater可以滿足你所有的機(jī)器學(xué)習(xí)。
9.Stanford Core NLP
自然語(yǔ)言處理?yè)碛芯薮蟮脑鲩L(zhǎng)空間，斯坦福正在努力增進(jìn)他們的框架，StanfordCoreNLP橫空出世。
10.Zeppelin
Zeppelin是一個(gè)提供交互數(shù)據(jù)分析且基于Web的筆記本，方便用戶做出可數(shù)據(jù)驅(qū)動(dòng)的、可交互且可協(xié)作的精美文檔。同時(shí)，它還支持多種語(yǔ)言，包括Scala（使用ApacheSpark）、Python（ApacheSpark）、SparkSQL、Hive、Markdown、Shell，等等。
在科技圈都知道，作為當(dāng)今最熱門的技術(shù)之一的大數(shù)據(jù)，正呈爆炸式增長(zhǎng)。幸運(yùn)的是，開源讓越來(lái)越多的項(xiàng)目可以直接采用大數(shù)據(jù)技術(shù)，這也為程序員提供了多一條出路。
原文地址：http://www.dashengzb.cn/articles/a-169.html
PS：8月31日大圣眾包平臺(tái)公測(cè)期就截止啦！拖延癥患者們，3個(gè)月的首批注冊(cè)用戶招募期就要結(jié)束啦，再不登錄注冊(cè)專享福利就木有啦！
（更多大數(shù)據(jù)與商業(yè)智能領(lǐng)域干貨、兼職機(jī)會(huì)及行業(yè)資源分享等請(qǐng)關(guān)注大圣眾包平臺(tái)，或添加大圣花花個(gè)人微信號(hào)（dashenghuaer)，拉你入bigdata&BI交流群330648564。)
