作為IT類職業(yè)中的“大熊貓”，大數(shù)據(jù)工程師這個(gè)職業(yè)在國內(nèi)人才市場可謂是一顆閃耀的新星。由于剛剛出于萌芽階段，這個(gè)領(lǐng)域出現(xiàn)很大的人才缺口。隨著大數(shù)據(jù)的爆發(fā)，中國IT業(yè)內(nèi)環(huán)境也將面臨新一輪的洗牌，不僅是企業(yè)，更是從業(yè)人員轉(zhuǎn)型可遇而不可求的機(jī)遇。如果將IT人士統(tǒng)一比作一條船上的海員，大數(shù)據(jù)就是最大的浪潮，借浪潮之勢而為之，可成功從IT程序員轉(zhuǎn)型成為大數(shù)據(jù)專家。
大數(shù)據(jù)之愛絕非偶然
1、技術(shù)日漸成熟，應(yīng)用空間得以拓展
大數(shù)據(jù)技術(shù)，最早于1980年被首次提及，卻在近幾年才獲得突飛猛進(jìn)的發(fā)展。相較于幾十年前神經(jīng)網(wǎng)絡(luò)算法捉襟見肘的計(jì)算能力，如今處理器對(duì)大規(guī)模數(shù)據(jù)的高速處理能力無疑發(fā)揮了關(guān)鍵性的作用。借助于處理器的高性能，使我們短時(shí)間內(nèi)完成PB 級(jí)數(shù)據(jù)的機(jī)器學(xué)習(xí)和模型訓(xùn)練成為可能，由此為高度依賴深度學(xué)習(xí)的圖像、語音識(shí)別產(chǎn)品的快速迭代奠定基礎(chǔ)，大數(shù)據(jù)應(yīng)用空間得以拓展，也由此催生了提供相關(guān)產(chǎn)品與服務(wù)的技術(shù)公司。
2、重視數(shù)據(jù)資產(chǎn)，數(shù)據(jù)挖掘已成必然
現(xiàn)代信息技術(shù)使每日產(chǎn)生的數(shù)據(jù)量呈指數(shù)級(jí)增長，企業(yè)發(fā)展再也無法回避對(duì)數(shù)據(jù)價(jià)值的挖掘與利用。電商平臺(tái)利用畫像做個(gè)性化推薦，互聯(lián)網(wǎng)金融公司利用高危識(shí)別技術(shù)管控金融風(fēng)險(xiǎn)，滴滴出行利用交易數(shù)據(jù)通過實(shí)時(shí)定價(jià)優(yōu)化利潤……這些都是對(duì)大數(shù)據(jù)價(jià)值的發(fā)掘和利用。隨著數(shù)據(jù)資產(chǎn)意識(shí)的加強(qiáng)，數(shù)據(jù)挖掘也將獲得越來越多結(jié)合具體行業(yè)場景的重視。
3、技術(shù)催生業(yè)務(wù)新模式，蘊(yùn)含創(chuàng)業(yè)新契機(jī)
大數(shù)據(jù)產(chǎn)業(yè)鏈，催生出針對(duì)不同版塊提供產(chǎn)品和服務(wù)的業(yè)務(wù)組合新模式，無論是利用推薦算法做內(nèi)容服務(wù)的今日頭條，還是基于數(shù)據(jù)整合提供監(jiān)測服務(wù)的 TalkingData，或者是提供底層架構(gòu)支持的阿里云，無不是發(fā)覺了大數(shù)據(jù)產(chǎn)業(yè)鏈條所蘊(yùn)含的創(chuàng)業(yè)先機(jī)。
大數(shù)據(jù)創(chuàng)業(yè)，時(shí)至今日熱度不減，雖難出BAT那樣巨頭獨(dú)大的局面，其提供的相對(duì)公平的競爭機(jī)會(huì)，依然在吸引著新的創(chuàng)業(yè)公司加入。
4、市場供不應(yīng)求，崗位挑戰(zhàn)空間大
翻看大數(shù)據(jù)相關(guān)招聘崗位，一方面是供不應(yīng)求的招聘局面，另一方面是騰訊、華為等大牌互聯(lián)網(wǎng)公司開出的誘惑薪資，都讓普通崗位的程序員躍躍欲試。
再加上這些崗位相比于傳統(tǒng)的軟件工程，有更高的挑戰(zhàn)空間和更大的難度，自然引得更多人才進(jìn)入到這個(gè)領(lǐng)域。
大數(shù)據(jù)相關(guān)崗位有哪些
1、偏技術(shù)的“算法工程師”
利用算法手段，構(gòu)建機(jī)器學(xué)習(xí)模型，解決諸如“人臉識(shí)別”、“支付風(fēng)險(xiǎn)管控”等高難度問題。它往往既需要工程師在具體問題上有足夠的專注力，也需要對(duì)相關(guān)的算法有足夠深度的了解。
2、偏業(yè)務(wù)的“數(shù)據(jù)挖掘工程師”
結(jié)合計(jì)算機(jī)知識(shí)，重點(diǎn)攻克復(fù)雜業(yè)務(wù)的算法化和模型化難題。與算法工程師的要求不同，它往往不需要工程師在算法上探索得足夠深入，卻對(duì)知識(shí)的廣度和技能的交叉度有較高的要求，還需要工程師具備相當(dāng)和快速的業(yè)務(wù)理解能力。當(dāng)然了，對(duì)數(shù)據(jù)的高敏感性也必不可少。
技術(shù)Leader最想要什么樣的人
1、最好，你是個(gè)獨(dú)當(dāng)一面的全才
基礎(chǔ)條件：扎實(shí)的計(jì)算機(jī)基礎(chǔ)、邏輯能力、英文等素質(zhì)
保障條件：聰明、學(xué)習(xí)能力強(qiáng)
加分條件：大規(guī)模集群開發(fā)經(jīng)驗(yàn)；上層數(shù)據(jù)應(yīng)用優(yōu)化經(jīng)歷；熟悉聚類、分類、推薦、
NLP、神經(jīng)網(wǎng)絡(luò)等常見算法；會(huì)數(shù)據(jù)處理，還熟悉聚類、分類、推薦、NLP、神經(jīng)網(wǎng)絡(luò)等各種常見算法……
2、退而求其次，有配合團(tuán)隊(duì)的長板優(yōu)勢
全才難得，退而求其次，針對(duì)不同崗位吸收具有不同特長的人才，以追求團(tuán)隊(duì)整體配合的平衡，也不失為一個(gè)策略。
計(jì)算機(jī)視覺領(lǐng)域的大數(shù)據(jù)公司，往往需要自己的團(tuán)隊(duì)中同時(shí)具備如下特長的成員。比如精通算法的人才：把圖像識(shí)別相關(guān)算法模型調(diào)整到極致；工程實(shí)力型人才：高性能實(shí)現(xiàn)訓(xùn)練好的算法模型，或者幫團(tuán)隊(duì)搭建一整套視頻圖像數(shù)據(jù)采集、標(biāo)注、機(jī)器學(xué)習(xí)、自動(dòng)化測試、產(chǎn)品實(shí)現(xiàn)的平臺(tái)。
即便同一算法工程團(tuán)隊(duì)內(nèi)部，成員的技能側(cè)重點(diǎn)也要合理搭配，以互為補(bǔ)充。比如，有人專注核心算法研究，就要有人擅長業(yè)務(wù)分析，專注業(yè)務(wù)算法模型的實(shí)現(xiàn)。
因此，對(duì)于想轉(zhuǎn)型大數(shù)據(jù)的普通程序猿來說，梳理清楚自己現(xiàn)有技能對(duì)于新團(tuán)隊(duì)的價(jià)值非常重要，這是促使新團(tuán)隊(duì)決定吸收自己的關(guān)鍵。比如，發(fā)揮硬件和底層系統(tǒng)工作經(jīng)歷在算法高速實(shí)現(xiàn)上的優(yōu)勢，一旦通過自身擅長的技能切入新團(tuán)隊(duì)之后，就有了更多橫向發(fā)展的機(jī)會(huì)，幫助自己在大數(shù)據(jù)相關(guān)領(lǐng)域建立更強(qiáng)競爭力。
3、請輸入標(biāo)題相較當(dāng)前技能水平，扎實(shí)的基礎(chǔ)和成長空間更被看重
當(dāng)前技能水平好比是術(shù)，而扎實(shí)的計(jì)算機(jī)基礎(chǔ)則處于道的層面，諸如Spark等工具性知識(shí)通過后期學(xué)習(xí)便能輕易掌握，而如果缺少了C++/Java基礎(chǔ)想進(jìn)步卻絕非易事。比如，如果算法、數(shù)據(jù)結(jié)構(gòu)比較強(qiáng)，編程語言上對(duì) C++ 理解較深入，在應(yīng)用層的學(xué)習(xí)上，就可能會(huì)比其他人快很多。
有人將程序猿能力抽象為一個(gè)金字塔模型，雖然對(duì)計(jì)算機(jī)語言的精通是每個(gè)工程師都注重的能力，但越基礎(chǔ)的素養(yǎng)越蘊(yùn)含了更多的發(fā)展?jié)摿ΑＯ啾葐渭兛霖?zé)當(dāng)前技能，能利用基礎(chǔ)素養(yǎng)勝任一部分基礎(chǔ)工作，然后通過1-2年鍛煉接受更復(fù)雜問題的程序猿，反而更受企業(yè)青睞。
TalkingData 大數(shù)據(jù)招聘負(fù)責(zé)人曾直言道，相比于對(duì) Spark 了解更多的人，他們更愿意招收那些 Java 學(xué)得好的人。因?yàn)?Spark 的接口學(xué)習(xí)起來相對(duì)容易，但是要想精通 Java 是一件很難的事情。如果把 Java 或者 C++ 學(xué)透了，那么對(duì)計(jì)算機(jī)技術(shù)的認(rèn)識(shí)將很不一樣。
如何轉(zhuǎn)型為大數(shù)據(jù)工程師？
那么，程序員如何轉(zhuǎn)型成為優(yōu)秀的大數(shù)據(jù)工程師呢？主要是從兩者所要求的能力上來分析。
面對(duì)海量的非結(jié)構(gòu)化數(shù)據(jù)，你要從中挖掘出有價(jià)值的東西，需要設(shè)計(jì)算法與編寫程序去實(shí)現(xiàn)，而程序員最牛的能力就是編寫簡潔高效的代碼，去實(shí)現(xiàn)人們許許多多美妙的夢想，編碼能力越強(qiáng)的程序員越有可能成為優(yōu)秀的大數(shù)據(jù)工程師。
其次，大數(shù)據(jù)工程師需要統(tǒng)計(jì)學(xué)與應(yīng)用數(shù)學(xué)相關(guān)的能力背景，數(shù)據(jù)挖掘與分析是需要設(shè)計(jì)數(shù)據(jù)模型和算法的，應(yīng)該說程序員是有這個(gè)基礎(chǔ)的，我見過最牛逼的程序員一般都不是科班出來的，通常是數(shù)學(xué)專業(yè)，因此提高算法設(shè)計(jì)能力是程序員轉(zhuǎn)型大數(shù)據(jù)工程師的關(guān)鍵因素。
第三，大數(shù)據(jù)工程師需要具備某一行業(yè)的業(yè)務(wù)知識(shí)，大數(shù)據(jù)的挖掘與分析最終都要服務(wù)于市場，并對(duì)產(chǎn)品的銷售與企業(yè)的發(fā)展起到重大推動(dòng)作用，那才是有價(jià)值的大數(shù)據(jù)分析，因此大數(shù)據(jù)是不能脫離市場的，它必須與某一行業(yè)的應(yīng)用想結(jié)合起來才容易產(chǎn)生更大的價(jià)值，通常程序員都是在做某一行業(yè)的軟件，經(jīng)過多年的學(xué)習(xí)與磨練，對(duì)某一行業(yè)的業(yè)務(wù)知識(shí)是有積累的，因此從來這一點(diǎn)上來看，程序員是很容易過渡到大數(shù)據(jù)工程師的。
當(dāng)然，以上都只是粗略的分析，真正要成為一名優(yōu)秀的大數(shù)據(jù)工程師，程序員還需要更多的學(xué)習(xí)與努力。
DT時(shí)代來得太突然了，國內(nèi)發(fā)展勢頭很猛，而大數(shù)據(jù)相關(guān)的人才卻非常地有限，在未來若干年內(nèi)都會(huì)是供不應(yīng)求的狀況，指望大學(xué)培養(yǎng)出合格的大數(shù)據(jù)人才有如天方夜譚，因此程序員們，你們的春天到了！
