從IT時代到DT時代，我們所面臨的知識體系和結構不可避免的發生了一些變化，對IT技術宅男的我們也造成了不小的沖擊，那么，作為IT從業者的我們，如何順利完成DT時代技術的升級和轉型，不至于補淘汰被出局的命運呢？且聽我下面一一道來；
隨著大數據并行處理技術的出現并日趨成熟，以數據驅動的業務及應用在現在的IT行業中所扮演的位置越來越重要，市場份額越來越大，如果你是一家稍微有點規模的公司，你還沒有hadoop環境(專門用于大數據分布式處理的平臺)，你都不好意思說你是一家IT公司。而這些變化其實都離不開智能手機的普及和電信技術的發展，不然即使有大數據并行處理技術的出現，這么大的數據量也無用武之地。但是伴隨這個發展過程，在IT行業摸爬滾打的我們不可避免的遇到了如下一些問題：
(1) 只掌握單純的編程技術，無法滿足新的需求變化帶來的沖擊；
(2) 數據分析人員現有的知識結構，無法完成新的需求任務；
(3) IT行業中的DBA如果只掌握結構化數據庫的知識，已經無法勝任新的DBA工作；
(4) 項目管理者面對著新的體系架構,無法設計出合理的架構。
上面這些沖擊，其實已經足以毀滅一家傳統的IT行業公司，所以行業中都是拼命的一定要和大數據扯上關系不行，不然好像你就活不下去了似的。尤其是2016年Google的AlphaGo戰勝世界圍棋冠軍李世石，這一科技熱點更是加速了整體行業涌入大數據的步伐。
最近給人的感受是傳統行業的開發者們更是猶如熱鍋上的螞蟻，尤其是哪些只掌握單一技能的開發者或者是一直在傳統行業公司干幾很多年，只會用C,Delphi，C++之類編程語言的開發者，更會有末日都要到了的感覺。那么我們來看一看為何大數據技術的出現和發展會對傳統IT行業的從業者們造成如此大的傷害呢？大體原因如下：
(1) 隨著電信行業的發展，使得通過智能設備搜集數據(包括文本，圖片，視頻等)上傳到服務器端成為可能，使得我們目前的數據維度之豐富，數據量之大，如果還使用老的思路來進行數據處理和數據分析已經不可能完成，這樣打個比喻吧，用以前的技術來處理現在的數據量，可能你在有生之年都看不到最終結果，所有這是hadoop得以誕生后得以訊速發展的原因,雖然haddop的原生技術是用JAVA寫的，但是光掌握單一的JAVA語言已經不能完成新的任務了；
(2) 當我們現有的數據變豐富后，也就是維度變大后，我們需要從更多的角度來分析一個事務，而不像以前那樣，數據分析人員，只需要根據年齡段，性別，經濟收入和工作性質等少數據幾個維度來分析數據，和其它公司使用大數據，更多維度分析得出來的結論準確性，沒有可比性，所以對數據分析人員需要分析更多維度的數據，而且需要找出其中的關聯性，所以發展出了新的技術分析方法，以前的技術人員已經無法勝認新的工作了；
(3) 對于結構化數據時代為王的DBA,由于大數據技術的發展，出現的新的數據庫存儲方式和方法和以前的結構化數據都不一致的數據庫方法，不能按以前的知識體系來管理新的數據庫了，而且由于數據量的巨增，轉化后需要存儲的數據量也遠遠比以前多了好多倍，這就需要新的分布式結構化數據庫來管理，這結DBA來說，也是一種新的知識；
(4) 而站在項目管理者和架構師的角度看，如果沒有接觸過或者了解過新的架構體系，首先就是不知道新的體系架構承載多大的數據量，多大的并發量比較合理，所以設計出來的系統架構可能會比較不合理，如果在加上人為因素，就會帶來成本的不合理，而這些都是需要在使用中逐漸才能解決的問題；
(5) 隨著維度豐富的數據及及相應匹配的技術的出現，使得數據挖掘的價值大有可為，而這類人才，因為新技術是最新才出現的，所以不可避免的就會缺少相應的人才，而且是極度缺少。
好了，從IT到DT時代，把我們面臨的問題和原因都找到了，那么我們具體來看一下我們都需要那些技能才能跟上時代的步伐呢，結果筆者所在行業，作了一下簡單的整理，如下：
(1) Hadoop(含hdfs,Hbase):完成離線處理作業;
(2) Apache Spark:流式處理框架，主要完成在線作業；
(3) Apache Storm: 側重于極低延遲的流處理框架，主要完成在線作業；
(4) Apache Samza: 與Apache Kafka消息系統緊密綁定的流處理框架;
(5) HIVE/Impala: 主要完成關系型分析查詢作業;
(6) Pig：主要完成數據清洗，ETL 等腳本作業;
(7) Greenplum:分布式結構化數據庫，主要完成結構化的數據處理;
(8) Mahout: 用于數據挖掘。
那么作為IT技術宅男的我們，如何去習得這些技術并發揚光大呢，話說在學會一門技術的最快的學習去使用它，那們如何都有哪些公司在使用呢，很簡單就能知道，去百度搜索一下2016互聯網公司top100，劃出一個名單來，直接去應聘大數據部門就是了，為了不至于被虐成狗，要求掌握的最低最低要技能如下：
練熟掌握JAVA，好呆也做過幾個拿得出手的項目吧;
掌握基本的數據庫知識；
掌握hadoop基本框架，最好能自己搭一套，并做一些具體練習。
