Hadoop創(chuàng)始人寄語(yǔ)2017



純手工打造每一篇開(kāi)源資訊與技術(shù)干貨，數(shù)十萬(wàn)程序員和Linuxer已經(jīng)關(guān)注。

導(dǎo)讀五種讓開(kāi)源項(xiàng)目成功的方法搭建一個(gè)開(kāi)源平臺(tái)，組織就能利用云供應(yīng)商套利來(lái)降低成本由于Doug Cutting和Apache軟件基金會(huì)有多年的合作關(guān)系，于是經(jīng)常被問(wèn)到“什么是開(kāi)源技術(shù)的未來(lái)？”。Doug的回應(yīng)一般要么是“我不知道”，要么是“有無(wú)窮的可能性”。

? 在過(guò)去的一年中，我們已經(jīng)看到開(kāi)源技術(shù)強(qiáng)勢(shì)的發(fā)展成了企業(yè)的技術(shù)主流。誰(shuí)會(huì)想到十年前Doug在Hadoop所做的工作會(huì)影響到那么多的行業(yè)，從制造到電信，再到金融等等。它們都掌握了開(kāi)源生態(tài)系統(tǒng)的力量，不僅改善了客戶(hù)的體驗(yàn)，變得有創(chuàng)新性并獲得了利潤(rùn)增長(zhǎng)，而且支持對(duì)社會(huì)有更大利益的工作，比如通過(guò)基因組研究、精密醫(yī)學(xué)等項(xiàng)目來(lái)阻止人口販賣(mài)，這僅僅是一小部分例子。

有人會(huì)很好奇如何開(kāi)始著手進(jìn)行開(kāi)源工作，以及從不斷變化的生態(tài)系統(tǒng)里期望能得到什么，下面Doug列出5個(gè)小貼士：

1. 擁抱開(kāi)源的不斷改變和演進(jìn)

不斷地變化，這是每一個(gè)剛接觸開(kāi)源技術(shù)的人需要學(xué)習(xí)的第一課，也是開(kāi)源有別于傳統(tǒng)軟件的最大不同之處。開(kāi)源的本質(zhì)是易變、靈活，它的新項(xiàng)目常常起源于一些特別的用例。這種動(dòng)態(tài)的循環(huán)促使產(chǎn)品變得更好、更快。因此，公司如果想從開(kāi)源獲得完全的好處，他們必須對(duì)技術(shù)轉(zhuǎn)變保持開(kāi)放的心態(tài)。Spark和MapReduce的辯論就完美的體現(xiàn)了這點(diǎn)的重要性：

? 事實(shí)上，人們?cè)跇?gòu)建新的應(yīng)用時(shí)，MapReduce用得越來(lái)越少，而Spark成為他們默認(rèn)的數(shù)據(jù)處理引擎。MapReduce正逐漸成為Hive、Pig的底層引擎，這并不意味著它過(guò)時(shí)了。它還會(huì)為現(xiàn)存應(yīng)用很好地工作很多年，而且對(duì)某些大規(guī)模批量加載來(lái)說(shuō)仍然是卓越的工具。這一趨勢(shì)遵循開(kāi)源技術(shù)的自然演進(jìn)：MapReduce是開(kāi)源數(shù)據(jù)生態(tài)系統(tǒng)的1.0引擎，Spark是2.0，而某一天會(huì)出現(xiàn)3.0讓Spark成為歷史。

2. 當(dāng)引入一個(gè)新技術(shù)棧時(shí)，從小開(kāi)始、由上而下

先不去考慮要構(gòu)建、部署什么樣的解決方案，我們現(xiàn)在有了很多通用數(shù)據(jù)平臺(tái)和很多工具，它們能靈活地組合在一起去做搜索、流處理、機(jī)器學(xué)習(xí)還有更多事情。這些工作需要的不僅僅是一套不同的技能，而且還需要管理方式、組織結(jié)構(gòu)等在文化上的轉(zhuǎn)變。

? 為此，重要的是要獲得組織內(nèi)高層的支持，并讓數(shù)據(jù)管理列入董事會(huì)層面的一項(xiàng)重點(diǎn)議題。同時(shí)，建議拿一些新的應(yīng)用來(lái)逐步建立一個(gè)新文化，而不是要取代所有的一切，這樣可以讓大家通過(guò)一個(gè)個(gè)具體的用例來(lái)適應(yīng)這個(gè)變化。

3. 仔細(xì)挑選開(kāi)源軟件以避免云供應(yīng)商捆綁

隨著使用云計(jì)算的企業(yè)組織和產(chǎn)業(yè)越來(lái)越多，應(yīng)該考慮到開(kāi)源軟件不僅會(huì)帶來(lái)越來(lái)越好的健壯性、可擴(kuò)展性和安全性，而且也可以幫助他們避免被云供應(yīng)商捆綁。通過(guò)開(kāi)源平臺(tái)的構(gòu)建，組織可以采用云供應(yīng)商套利以降低成本，可以使用不同地域的不同云，或者基于云和內(nèi)部部署的混合方式。

? ?事實(shí)上，開(kāi)源平臺(tái)已經(jīng)證明了自己的技術(shù)優(yōu)越性，2017年也許會(huì)取得更多的落地。大量的機(jī)構(gòu)通過(guò)開(kāi)源項(xiàng)目進(jìn)行合作，單一的供應(yīng)商要去競(jìng)爭(zhēng)是很困難的。例如，現(xiàn)在那些開(kāi)源數(shù)據(jù)系統(tǒng)在性能和靈活性上就處于領(lǐng)先地位，并且改進(jìn)得更加迅速。

4. 對(duì)求職者來(lái)說(shuō)，開(kāi)源生態(tài)環(huán)境里要關(guān)注森林，而不是樹(shù)木

? IT領(lǐng)域的求職者，不管是編程還是數(shù)據(jù)科學(xué)，不應(yīng)該僅僅專(zhuān)注于掌握個(gè)別技術(shù)，而應(yīng)該關(guān)注理解開(kāi)源數(shù)據(jù)生態(tài)系統(tǒng)各個(gè)組成部分的最佳利用，以及如何把它們連接起來(lái)解決問(wèn)題。這種上層建筑的理解是企業(yè)在技術(shù)創(chuàng)新中最有價(jià)值的技能。隨著新技術(shù)的到來(lái)，至關(guān)重要的是了解它們的適應(yīng)力如何、它們能取代什么、它們能做到什么。

5. 在技能缺口中尋找機(jī)會(huì)

大數(shù)據(jù)的技能缺口將在明年保持相對(duì)穩(wěn)定，但這不應(yīng)該成為人們采用Hadoop以及其它開(kāi)源技術(shù)的阻礙。大多數(shù)人都知道，當(dāng)新的技術(shù)被創(chuàng)造出來(lái)并爭(zhēng)奪用戶(hù)時(shí)，它們對(duì)外界而言是很陌生的。只有當(dāng)一個(gè)特定類(lèi)型的軟件成為某個(gè)規(guī)范的成熟而標(biāo)準(zhǔn)的一部分，才會(huì)開(kāi)始出現(xiàn)大量熟練使用它的人，而即使如此仍然會(huì)存在技能缺口。只有當(dāng)我們不再對(duì)技術(shù)棧做大的改進(jìn)時(shí)，才會(huì)消除這種缺口，不過(guò)Doug不認(rèn)為我們會(huì)希望這樣做。簡(jiǎn)而言之，技能缺口是影響平臺(tái)變革速度的主要因素之一，也是即將來(lái)臨的創(chuàng)新的標(biāo)志。

? 在未來(lái)的幾年內(nèi)，開(kāi)源生態(tài)系統(tǒng)將繼續(xù)擴(kuò)大，也會(huì)不斷地在有實(shí)際意義的項(xiàng)目里實(shí)施。它匯聚了今天最聰明的頭腦，在通力合作下，以十年前不可能的速度推進(jìn)軟件開(kāi)發(fā)。如果你想改善現(xiàn)有技術(shù)，或者想支持打破傳統(tǒng)的觀念，可以加入這里。Doug鼓勵(lì)每個(gè)人都有興趣參與進(jìn)來(lái)，也鼓勵(lì)經(jīng)驗(yàn)豐富的人因?yàn)檫@個(gè)原因繼續(xù)堅(jiān)持下去。

原文來(lái)自： ??http://www.linuxeden.com/html/news/20170112/167746.html

本文地址： ??http://www.linuxprobe.com/hadoop-initiate.html編輯：張庚，審核員：馮琪

讓您學(xué)習(xí)到的每一節(jié)課都有所收獲

《Linux就該這么學(xué)》是由資深運(yùn)維專(zhuān)家劉遄及全國(guó)多名紅帽架構(gòu)師（RHCA）基于最新RHEL7系統(tǒng)共同編寫(xiě)的高質(zhì)量Linux技術(shù)自學(xué)教程，極其適合用于Linux技術(shù)入門(mén)教程或講課輔助教材。

??劉遄老師QQ：5604241 ?微信：gnu_chuan

??學(xué)員助教QQ：5604674

??Linux技術(shù)交流A群(滿(mǎn))：560843

??Linux技術(shù)交流B群：340829

??Linux技術(shù)交流C群：463590

??Linux技術(shù)交流D群：915246（新群，火熱加群中……）

??官方站點(diǎn)：www.linuxprobe.com

? 電腦在線閱讀效果更佳：

http://www.linuxprobe.com/chapter-00.html

按住圖片3秒，即可自動(dòng)關(guān)注。

點(diǎn)擊左下角查看更多熱門(mén)技術(shù)


最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

推薦閱讀更多精彩內(nèi)容