科多大數(shù)據(jù)小課堂之大數(shù)據(jù)工程師被聘用的必備技能
1、HBase – Hadoop Database
HBase是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用HBase技術可在廉價PC Server上搭建起大規(guī)模結(jié)構化存儲集群。
2、Hive
Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，可以將結(jié)構化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供簡單的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務進行運行。 其優(yōu)點是學習成本低，可以通過類SQL語句快速實現(xiàn)簡單的MapReduce統(tǒng)計，不必開發(fā)專門的MapReduce應用，十分適合數(shù)據(jù)倉庫的統(tǒng)計分析。
3、Spark
Spark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用并行框架，Spark，擁有Hadoop MapReduce所具有的優(yōu)點；但不同于MapReduce的是Job中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機器學習等需要迭代的MapReduce的算法。
4、Scala
Scala是一門多范式的編程語言，一種類似java的編程語言，設計初衷是實現(xiàn)可伸縮的語言、并集成面向?qū)ο缶幊毯秃瘮?shù)式編程的各種特性。
5、R語言
R是用于統(tǒng)計分析、繪圖的語言和操作環(huán)境。R是屬于GNU系統(tǒng)的一個自由、免費、源代碼開放的軟件，它是一個用于統(tǒng)計計算和統(tǒng)計制圖的優(yōu)秀工具。
6、Python
Python是一種面向?qū)ο蟆⒔忉屝陀嬎銠C程序設計語言，Python是純粹的自由軟件，源代碼和解釋器CPython遵循GPL（GNU General Public License）協(xié)議。Python語法簡潔清晰，特色之一是強制用空白符（white space）作為語句縮進。
7、ZooKeeper
ZooKeeper是一個分布式的，開放源碼的分布式應用程序協(xié)調(diào)服務，是Google的Chubby一個開源的實現(xiàn)，是Hadoop和Hbase的重要組件。它是一個為分布式應用提供一致性服務的軟件，提供的功能包括：配置維護、域名服務、分布式同步、組服務等。
8、Apache Hadoop YARN
Apache Hadoop YARN 是一種新的 Hadoop 資源管理器，它是一個通用資源管理系統(tǒng)，可為上層應用提供統(tǒng)一的資源管理和調(diào)度，它的引入為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來了巨大好處。
9、HDFS
Hadoop分布式文件系統(tǒng)（HDFS）被設計成適合運行在通用硬件（commodity hardware）上的分布式文件系統(tǒng)。HDFS是一個高度容錯性的系統(tǒng)，適合部署在廉價的機器上。HDFS能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應用。HDFS放寬了一部分POSIX約束，來實現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)的目的。
10、團隊協(xié)作能力
大數(shù)據(jù)工程師往往是一個團隊，它意味著從數(shù)據(jù)的收集、整理展現(xiàn)、分析和商業(yè)洞察、以至于市場轉(zhuǎn)化的全過程。這個團隊中可能包括數(shù)據(jù)工程師、分析師、產(chǎn)品專員、市場專員和商業(yè)決策者等角色，共同完成從原始數(shù)據(jù)到商業(yè)價值的轉(zhuǎn)換。
11、對數(shù)據(jù)的好奇心
對于大數(shù)據(jù)工程師的招聘來說，學歷并不是最主要的因素，能有大規(guī)模處理數(shù)據(jù)的經(jīng)驗并且有喜歡在數(shù)據(jù)海洋中尋寶的好奇心會更適合這個工作。如果你具備了以上的技能，那么你將成為一名優(yōu)秀的大數(shù)據(jù)工程師，成為企業(yè)爭搶的人才。
