一、概述
神經網絡這個詞在幾年前可能大家還會比較陌生，不過自從16年3月AlphaGo以4:1大勝人類頂級棋手李世石之后，很多人就知道了神經網絡這么個東西。
再加上今年年初Alphgo以"Master"的身份橫掃圍棋界幾十位一流高手，取得60連勝，更是使得人工智能，深度學習，神經網絡這些詞匯被大家所熟知。那么什么是神經網絡呢？
簡單的來說，神經網絡就是模仿人體神經網絡創建的一種網絡架構。我們的大腦內部就有很多神經，我們對這個世界的認知就是依靠神經元的相互作用，我們看到一張照片能分辨出照片中的物體是狗還是貓，看到一段文字能理解文字表達的意思，這都是大腦的神經元在發生作用。而人工創作的神經網絡又能用來干什么呢？
1.圖像識別
比如我們把一張照片輸入神經網絡中，它就可以告訴你圖片中有什么東西。
2.自動駕駛
利用神經網絡我們可以識別出周圍的行人以及車輛，并且判斷出他們的位置以及移動軌跡。
3. 人工智能
另外深度學習神經網絡還應用到了語音識別，自然語言處理，人臉識別等等很多領域。
為什么最近深度學習神經網絡最近會這么火爆，這么振奮人心呢，我覺得可能有兩點，一方面，神經網絡在某些領域可以使得計算機像人一樣聰明甚至比較人更聰明，讓我們感覺人工智能的時代就要到來。另一個方面就是目前神經網絡所處的時期就有點像神農嘗百草的時期，很多知識和理論就連最頂級的專家也沒辦法解釋。一個普通程序員學了幾個月一年的神經網絡之后，自己創建一個的神經網絡，這個神經網絡就有可能打敗某個領域（比如語音識別領域，圖像處理領域）擁有幾十年經驗的專家。很多領域的權威知識正在不斷被新的神經網絡擊破，然后被神經網絡所取代。
神經網絡的種類：
基礎神經網絡：單層感知器，線性神經網絡，BP神經網絡，Hopfield神經網絡等
進階神經網絡：玻爾茲曼機，受限玻爾茲曼機，遞歸神經網絡等
深度神經網絡：深度置信網絡，卷積神經網絡，深度殘差網絡，LSTM網絡等
神經網絡的發展圖：
神經網絡編程語言：python，R，matlab，java等
深度學習實現框架：Tensorflow，Caffe，Torch等
二、發展史
一般我們可以把神經網絡的發展歷史分成4個時期，啟蒙時期（1890-1969），低潮時期（1969-1982），復興時期（1982-1986），新時期（1986至今）
啟蒙時期（1890-1969）
1890年，心理學家William James出版了第一部詳細論述人腦結構及功能的專著《心理學原理》，他認為一個神經細胞受到刺激激活后可以把刺激傳播到另一個神經細胞，并且神經細胞激活是細胞所有輸入疊加的結果。
“并且神經細胞激活是細胞所有輸入疊加的結果”這一句話很重要，他的這個猜想后來得到了證實，并且我們現在設計的神經網絡也是基于這個理論。
1943年，神經病學家和神經元解剖學家McCulloch和數學家Pitts在生物物理學期刊發表文章提出神經元的數學描述和結構。并且證明了只要有足夠的簡單神經元，在這些神經元互相連接并同步運行的情況下，可以模擬任何計算函數（M-P模型）。他們所做的開創性的工作被認為是人工神經網絡(ANN)的起點。
1943年的時候，我們已經開始用數學來描述神經元互相作用的行為。這被認為是第一個仿生學的神經網絡模型，他們提出的很多觀點一直沿用至今，比如說他們認為神經元有兩種狀態，要不就是興奮，要不就是抑制。下節課我們學到的單層感知器就是模仿這個，單層感知器的輸出要不就是0要不就是1。他們最重要的貢獻就是開創了神經網絡這個研究方向，為今天神經網絡的發展奠定了基礎。
1949年，生理學家Hebb出版了《行為組織學》，描述了神經元權值的Hebb調整規則。他指出在神經網絡中，信息存儲在連接權值中。并提出假設神經元A到神經元B的連接權與從B到A的連接權是相同的。
他這里提到的這個權值的思想也被應用到了我們今天的神經網絡中，我們通過調節神經元之間連接的權值來得到不同的神經網絡模型，實現不同的應用。雖然這些理論在今天看來都很簡單，不過在當時是一種全新的想法，算得上是開創新的理論。
1958年，計算機學家Rosenblatt提出了一種具有三層網絡特性的神經網絡結構，稱為“感知器”。
他提出的這個感知器可能是世界上第一個真正意義上的人工神經網絡。感知器提出之后在60年代就掀起了神經網絡研究的第一次熱潮。很多人都認為只要使用成千上萬的神經元，他們就能解決一切問題。現在看來可能會讓人感覺tooyoung too na?ve，不過在當時確實是影響非凡。
1969年，人工智能的創始人之一的Minsky和Papert出版了一本名為《感知器》的書，書中指出簡單神經網絡只能運用于線性問題的求解，能夠求解非線性問題的網絡應具有隱層，而從理論上還不能證明將感知器模型擴展到多層網絡是有意義的。
這股熱潮持續了10年。由于Minsky在學術界的地位和影響，其悲觀論點極大地影響了當時的人工神經網絡研究，為剛剛燃起希望之火的人工神經網絡潑了一大盤冷水。這本書出版不不久之后，幾乎所有為神經網絡提供的研究基金都枯竭了，沒有人愿意把錢浪費在沒有意義的事情上。
低潮時期（1969-1982）
Grossberg夫婦提出了自適應共振機理論和三個ART系統。
Konhonen教授提出了自組織映射（SOM）理論。
福島邦彥的新認知機。
Minsky的書出版后10年中，神經網絡領域的研究人員大幅度減少，但仍有為數不多的學者在困難時期依然堅持致力于神經網絡的研究。這里就不詳細介紹了。
復興時期（1982-1986）
1982年，美國加州理工學院的優秀物理學家Hopfield提出了Hopfield神經網絡。Hopfield神經網絡引用了物理力學的分析方法，把網絡作為一種動態系統并研究這種網絡動態系統的穩定性。
Hopfield的文章發表了之后，重新打開了人們的思路，吸引了很多非線性電路科學家，物理學家和生物學家來研究神經網絡。
1985年，Hinton和Sejnowski借助統計物理學的概念和方法提出了一種隨機神經網絡模型——玻爾茲曼機。一年后他們又改進了模型，提出了受限玻爾茲曼機。
1986年，Rumelhart，Hinton，Williams發展了BP算法。（多層感知器的誤差反向傳播算法）
到今天為止，這種多層感知器的誤差反向傳播算法還是非常基礎的算法，凡是學神經網絡的人，必然要學習BP算法。我們現在的深度網絡模型基本上都是在這個網絡的基礎上發展出來的。
新時期（1982-1986）
1987年6月，首屆國際神經網絡學術會議在美國加州圣地亞哥召開，到會代表有1600余人。之后國際神經網絡學會和國際電氣工程師與電子工程師學會（IEEE）聯合召開每年一次的國際學術會議。
1986年之后的神經網絡就蓬勃發展起來了，特別是近幾年，呈現一種爆發趨勢，神經網絡開始應用在各行各業，各種新的神經網絡模型不斷被提出，各種圖像識別，語音識別的記錄不斷被刷新，人工智能如今已經成為一個熱門話題。
三、領軍人物
Geoffrey Hinton
英國出生的計算機學家和心理學家，以其在神經網絡方面的貢獻聞名。Hinton是反向傳播算法和對比散度算法的發明人之一，也是深度學習的積極推動者。目前擔任多倫多大學計算機科學系教授。
2013年3月加入Google，領導Google Brain項目。
Hinton可以說是目前對深度學習領域影響最大的人。而且如今在神經網絡界活躍的大師，大部分都是他的弟子，可以說是桃李滿天下。
Yann LeCun
計算機科學家，他最著名的工作是光學字符識別和計算機視覺上使用卷積神經網絡（CNN），他也被稱為卷積網絡之父。
多倫多大學跟隨Hinton做博士后。1988年，加入貝爾實驗室，之后開發出了卷積神經網絡，曾廣泛用于手寫識別。
2003年去了紐約大學。2013年12月加入了 Facebook，成為Facebook人工智能實驗室的第一任主任。
比如美國很多銀行用這個手寫體識別技術來識別用戶在支票上寫的數字。包括Alphago也用了卷積神經網絡，很多圖像識別的比賽也用了很多卷積神經網絡。
Yoshua Bengio
畢業于麥吉爾大學，在MIT和貝爾實驗室做過博士后研究員，自1993年之后就在蒙特利爾大學任教。在預訓練問題，自動編碼器降噪等領域做出重大貢獻。
Hinton，LeCun，Bengio江湖人稱深度學習三巨頭，到底是誰第一個說的我也不太清楚。Bengio是三巨頭中唯一一位沒有加入科技公司的人。如果很多的大公司聘用了大量的研究人員，那么大學就沒有人來培養學生進行純粹的基礎研究了。所以Bengio想全身心投入在學術界，應該沒有加入大公司的打算。
Andrew Wu(吳恩達)華裔
曾經是斯坦福大學計算機科學系和電氣工程系的副教授，斯坦福人工智能實驗室主任。他還與達芙妮科勒一起創建了在線教育平臺Coursera。
2011年，吳恩達在Google創建了Google Brain項目，通過分布式集群計算機開發超大規模的人工神經網絡。
2014年5月，吳恩達加入百度，負責百度大腦計劃，并擔任百度公司首席科學家。
吳恩達在神經網絡創新的工作比較少，他最大的貢獻是在教育領域，推動了神經網絡，人工智能領域的發展。
大神關系圖：
LeCun是Hinton的博士生，Jordan曾經申請Hinton的博士生沒有通過。Bengio是Jordan的博士后，吳恩達是Jordan的博士生。LeCun和Bengio曾經是同事。
所以說這個圈子其實很小，大師之間都有著千絲萬縷的關系。像Google，Facebook，百度這些大公司的人工智能帶頭人都是來自學術界，對于神經網絡這個學科來說，神經網絡的設計應該是難度最大的，通過代碼來實現神經網絡應該相對簡單。學到后面我們會知道，神經網絡的設計不止是一門科學，甚至可以說是一門藝術。
從左到后分別是LeCun，Hinton，Bengio和吳恩達
