Neil Zhu，簡書ID Not_GOD，University AI 創(chuàng)始人 & Chief Scientist，致力于推進世界人工智能化進程。制定并實施 UAI 中長期增長戰(zhàn)略和目標，帶領(lǐng)團隊快速成長為人工智能領(lǐng)域最專業(yè)的力量。
作為行業(yè)領(lǐng)導者，他和UAI一起在2014年創(chuàng)建了TASA（中國最早的人工智能社團）, DL Center（深度學習知識中心全球價值網(wǎng)絡(luò)），AI growth（行業(yè)智庫培訓）等，為中國的人工智能人才建設(shè)輸送了大量的血液和養(yǎng)分。此外，他還參與或者舉辦過各類國際性的人工智能峰會和活動，產(chǎn)生了巨大的影響力，書寫了60萬字的人工智能精品技術(shù)內(nèi)容，生產(chǎn)翻譯了全球第一本深度學習入門書《神經(jīng)網(wǎng)絡(luò)與深度學習》，生產(chǎn)的內(nèi)容被大量的專業(yè)垂直公眾號和媒體轉(zhuǎn)載與連載。曾經(jīng)受邀為國內(nèi)頂尖大學制定人工智能學習規(guī)劃和教授人工智能前沿課程，均受學生和老師好評。
在1980年代后期，神經(jīng)網(wǎng)絡(luò)到處可見。他們重新出現(xiàn)在紐約時報上，一篇關(guān)于圣地亞哥研究團隊的技術(shù)書籍的書評。很多公司確信可以使用神經(jīng)網(wǎng)絡(luò)解決一堆問題。甚至在好萊塢的電影中，如阿諾施瓦辛格飾演的終結(jié)者說，“我的CPU是神經(jīng)網(wǎng)絡(luò)處理器，是一臺學習機器” 這樣的表述來吸引眼球。
Hinton在卡內(nèi)基梅隆大學呆了幾年。與Rumelhart和Ronald J. Williams一起，他展示了神經(jīng)網(wǎng)絡(luò)可以學習多層的特征，并證明可以從這些網(wǎng)絡(luò)開始構(gòu)造復雜的計算。但是他對BP并不十分滿意，除了他之外，LeCun等人也同樣發(fā)明了BP，BP也不是太強大。和Sejnowski一起，Hinton依據(jù)Boltzman分布設(shè)計出了一個神經(jīng)網(wǎng)絡(luò)，這個借助了統(tǒng)計力學中描述在變化的溫度下物質(zhì)改變能量狀態(tài)的概率。（想象水變成冰。）這就是典型的Hinton：他直接借助物理類比而非純數(shù)學理論進行編程。那是一段非常高產(chǎn)的歲月。Sejnowski回憶起，那時他在自家廚房，接到了Hinton的電話：“Terry，我已經(jīng)知道大腦如何工作的了?！?在過去的三十年中，Sejnowski補充說，Hinton已經(jīng)在電話中講過若干次了。
世界與Hinton的蜜月期并沒有多久。研究又遇到新的障礙了。神經(jīng)網(wǎng)絡(luò)確實可以學習，不過學得并不好。神經(jīng)網(wǎng)絡(luò)相當需要計算能力，并且需要一堆例子去學習。如果一個神經(jīng)網(wǎng)絡(luò)失效了，其原因我們根本沒搞清楚，如同我們的大腦一樣。如果兩個人應(yīng)用了同一個算法，其結(jié)果也是不一樣的。Yann LeCun說，工程師們其實對這樣的情況很討厭。他們說，這個東西特別復雜，那些使用神經(jīng)網(wǎng)絡(luò)的人們肯定相信魔術(shù)。所以，程序員們傾向于那些可以預(yù)見行為并和BP能力相仿的學習算法。
當他們看到神經(jīng)網(wǎng)絡(luò)步入衰敗時，都注視著Rumelhart，那個對神經(jīng)網(wǎng)絡(luò)第二次衰敗負重要責任的男人，他退卻了。他逐漸地受到Pick 病得侵擾，這個罕見的病很可能是由于過度使用腦力所致，McClelland猜測過。（他在2011年逝世。）認知科學社區(qū)設(shè)置了一個向Rumelhart致敬的獎項；而Hinton就是首個獲獎?wù)摺?br>
Yoshua Bengio，蒙特利爾大學的一位教授，說，這個領(lǐng)域失去了自身的愿景。他后來在1990年代加入了Hinton和LeCun的神經(jīng)網(wǎng)絡(luò)陣營。盡管LeCun后來根據(jù)視覺皮層建模的神經(jīng)網(wǎng)絡(luò)閱讀了百分之二十的美國銀行賬單，還是沒有人討論人工智能?！霸谥髁鞯臋C器學習會議上，很難發(fā)表于神經(jīng)網(wǎng)絡(luò)相關(guān)的研究成果了?！盉engio曾經(jīng)這樣告訴我，”在10年里，神經(jīng)網(wǎng)絡(luò)從一個實體化作虛無。“
十年前，Hinton、LeCun和Bengio密謀將神經(jīng)網(wǎng)絡(luò)挽回。神經(jīng)網(wǎng)絡(luò)相比于其對手有一個特殊的優(yōu)勢：盡管監(jiān)督學習可以用來訓練識別新的對象，他們同樣可以識別自身的模式，就像一個小孩，如果獨處，可以在他父母告知之前區(qū)分出一個球體和立體。如果他們可以讓非監(jiān)督學習起到作用，那么每個人都會重新關(guān)注這個領(lǐng)域。在2006年，Hinton發(fā)表關(guān)于“深度信念網(wǎng)絡(luò)”的論文，這個網(wǎng)絡(luò)可以運行很多層，并且自動地學習基本的特征，在最后的層次中訓練而得到提高。他們開始稱這樣的人工神經(jīng)網(wǎng)絡(luò)為“深度學習”。新品牌就此誕生。
然而，也就在他們贏得世界之前，整個世界的發(fā)展也偏向了深度學習。在同一年，一種新式的計算機芯片問世——GPU，變得更加強大。Hinton的學生發(fā)現(xiàn)，使用這樣的芯片可以很好地滿足深度學習的需求。神經(jīng)網(wǎng)絡(luò)比之前整整快了30倍。Google和Facebook也已經(jīng)堆滿了大量的用戶數(shù)據(jù)。而在計算機的大規(guī)模網(wǎng)絡(luò)上也就可以運行程序了。Hinton的一位學生在Google實習的時候，把Hinton的語音識別加入了Google的系統(tǒng)。這是個立時的成功，它將困擾了人們近十年的問題很好地解決了。Google開始把Hinton的軟件運行在所有的Android手機上。
這是一個偉大的成果。這些神經(jīng)網(wǎng)絡(luò)跟1980年代的并沒有太大的差異。這個一個簡單的監(jiān)督學習。甚至都沒有用到2006年Hinton的突破性成果。沒有其他的算法如同神經(jīng)網(wǎng)絡(luò)這般可以大規(guī)?；?。
“回顧整個歷史，這僅僅是數(shù)據(jù)量和計算量的問題。” Hinton這樣說。
===
