?我們?cè)凇?a target="_blank" rel="nofollow">易圖秒懂の神經(jīng)網(wǎng)絡(luò)潛行-CNN前生" 和 “易圖秒懂の神經(jīng)網(wǎng)絡(luò)潛行-RNN前生" 里面,簡述了神經(jīng)網(wǎng)絡(luò)潛行的發(fā)展。”易圖秒懂の符號(hào)主義誕生“里我們提到符號(hào)主義發(fā)展后, 誕生了認(rèn)知科學(xué)新的分支。 隨著認(rèn)知科學(xué)的大佬們開始注意神經(jīng)網(wǎng)絡(luò), 在學(xué)習(xí)領(lǐng)域, 符號(hào)主義正式步入新階段。
前言
Twitter上有個(gè)圖片對(duì)連接主義和符號(hào)主義很形象的刻畫,如下, 看上去符號(hào)主義站穩(wěn)了腳跟, 但是鏈接主義開始揮舞起拳頭。
以基于規(guī)則的系統(tǒng)為代表的符號(hào)主義, 正向以神經(jīng)網(wǎng)絡(luò),統(tǒng)計(jì)學(xué)習(xí)為代表的鏈接主義轉(zhuǎn)變, 同時(shí)以符號(hào)表示的表象主義向嵌入、進(jìn)化、生成論方向發(fā)展。
當(dāng)然, 討論起這些主義,本身就是已經(jīng)被認(rèn)知科學(xué)影響了。由此可見認(rèn)知科學(xué)發(fā)展所帶來的變化。
一圖抵千言
連接主義的代表是Rumelhart, 他和MIT的教授McClelland, 兩人搞了一個(gè)PDP的雜志, 并行分布處理的雜志。 雖然是并行分布的雜志, 但卻是連接主義的橋頭堡。Rumelhart很不簡單, 他是美國排名超前的心理學(xué)大師Estes的學(xué)生。 他所在的實(shí)驗(yàn)室CBC實(shí)驗(yàn)室更不簡單,算得上是認(rèn)知主義的一個(gè)源頭點(diǎn)。
說到CBC實(shí)驗(yàn)室, 首先它的創(chuàng)立者是美國另外一個(gè)排名很前的心理學(xué)家Mandler。 接著,它后來的一把手是因發(fā)現(xiàn)DNA雙螺旋結(jié)構(gòu)而獲得諾貝爾獎(jiǎng)的Crick。 Crick受到了Hopfield網(wǎng)絡(luò)的影響,為了這個(gè)實(shí)驗(yàn)室, 甚至在Natural撰文鼓吹神經(jīng)網(wǎng)絡(luò)。 當(dāng)然因DNA雙螺旋結(jié)構(gòu)獲得諾貝爾獎(jiǎng)的Watson也不得了, Watson的老板Luria也是諾貝爾獲得者,研究噬菌體。
輔助Crick的是認(rèn)知學(xué)的另外一個(gè)大佬Norman, Norman后來開創(chuàng)了User-Centered Design, 他做到蘋果的高級(jí)技術(shù)部門的VP, 對(duì)蘋果公司的發(fā)展影響巨大。
如果你對(duì)Rumelhart還是不熟悉, 那么我再說幾點(diǎn), 他是機(jī)器學(xué)習(xí)大牛Jordan的導(dǎo)師(參考”喬丹上海行“)。另外,他是領(lǐng)頭再創(chuàng)造BP算法的三個(gè)人的領(lǐng)袖。 另外一個(gè)是CBC實(shí)驗(yàn)室的Hinton,還有一個(gè)是發(fā)明RTRL算法的Williams。 某種意義上正是Rumelhart對(duì)BP算法的新的總結(jié)發(fā)表。 才讓連接主義開始重新成為人工智能的主流。
Rumelhart 培養(yǎng)的學(xué)生都很贊, 他另外一個(gè)學(xué)生Glushko, 成立了好幾個(gè)XML相關(guān)的公司。賣了幾個(gè)后有錢了便和老婆成立了個(gè)基金會(huì)。 這個(gè)基金會(huì)在Rumelhart去世后建立了Rumelhart 大獎(jiǎng)來獎(jiǎng)勵(lì)對(duì)連接主義有貢獻(xiàn)的人。 第一次就獎(jiǎng)勵(lì)給了Hinton。
我們知道Hinton本人就是認(rèn)知科學(xué)家Christopher的學(xué)生。 所以總得來說,連接主義興起,是受到了認(rèn)知科學(xué), 生物學(xué)發(fā)展, Hopfield網(wǎng)絡(luò)的影響下的一次重新沖擊。
小結(jié)
本文描述了以Rumelhart為代表的連接主義,重新在人工智能的舞臺(tái)上綻放光芒!當(dāng)然離不開Crick的英明的領(lǐng)導(dǎo)!
相關(guān)話題:
神經(jīng)網(wǎng)絡(luò)之雙向關(guān)聯(lián)記憶網(wǎng)絡(luò)(BAM)
參考:
http://www.eucognition.org/index.php?page=summary