神經網絡從被人忽悠到忽悠人(一)

為何取這標題呢,只是覺得目前人工智能只用于娛樂而已。

很早的時候就想寫幾篇關于人工智能的東西,把人工智能的東西寫的通俗易懂點,但是畢竟人工智能的東西涉及的領域太廣了,特別是對數學和概率有比較深的理解,如果只是想簡單的了解,可以跳過文章的公式。

很難想象有什么事物會像廉價、強大、無處不在的人工智能那樣擁有“改變一切”的力量。《必然》

前段時間的AlphaGo再次的把人工智能炒的火熱,關于人工智能的討論又再次進入討論的風口浪尖上。各個方面對AlphaGo技術的猜測,神經網絡也再次成為了技術的焦點。

一個看似簡單的問題

給你一堆的圖片,從圖片中分出是貓,狗。歸結成一個大問題:分類。本身來說,分類對計算機來說本該是最擅長的,本身0和1,就是很好的分類,編程語言的if else,swich,可以做到很好的分類。
像if else這種做法,似乎我們可以編寫一套復雜的規則,這個規則覆蓋所有的情況,就能夠進行準確的分類了。但是這條路是走不通的,之前的自然語言處理就走過這條路。需要另外的選擇一條出路。對,建模。通過模型來進行分類。


要讓機器像人一樣的思考,最好的辦法就是讓他的模型盡量的一樣。萊特兄弟發明飛機時,并沒有像之前一樣利用翅膀,而是通過動力學原理。思考的機器如果靠的是規則下的專家系統,太過復雜,沒有規律。最好的一條路是通過數學公式進行建模。

感知器

Hebb在1949年出版的《行為的組織》中,Hebb提出了其神經心理學理論。Hebb認為神經網絡的學習過程最終是發生在神經元之間的突觸部位,突觸的聯結強度隨著突觸前后神經元的活動而變化,變化的量與兩個神經元的活性之和成正比。之后人們相繼提出了各種各樣的學習算法。康奈爾航空實驗室心理學家Frank Rosenblatt 受到這種思想的啟發,認為這個簡單想法足以創造一個可以學會識別物體的機器,在1956年,創建了算法和硬件。1958年,Frank Rosenblatt在《 New York Times 》上發表文章《Electronic ‘Brain’ Teaches Itself.》,正式把算法取名為“感知器”。


1957年,Frank Rosenblatt 發布了算法模型:

1958年夏,Frank Rosenblatt受到美國海軍的經費自助,并召開新聞發布會。《紐約時報》抓住了發布會的要點:
「海軍透露了一種電子計算機的雛形,它將能夠走路、說話、看、寫、自我復制并感知到自己的存在……據預測,不久以后,感知器將能夠識別出人并叫出他們的名字,立即把演講內容翻譯成另一種語言并寫下來。」

現在來看這段話,就能看出Frank Rosenblatt靠譜的預見性了。可是這些事情在當時看來遠超人們的想象,認為Frank Rosenblatt天方夜譚,像小孩子一樣想象著未來。

感知器是有單層計算單元的神經網絡,由線性元件及閥值元件組成。感知器如圖所示。

再來看 神經網絡的學習過程最終是發生在神經元之間的突觸部位,突觸的聯結強度隨著突觸前后神經元的活動而變化,變化的量與兩個神經元的活性之和成正比。 Frank Rosenblatt用數學的方法描述這個過程。

感知器的數學模型:

其中:f[.]是 階躍函數 ,并且有

θ是閥值。
感知器的最大作用就是可以對輸入的樣本分類,故它可作分類器,感知器對輸入信號的分類如下(A類,B類):

當感知器的輸出為1時,輸入樣本稱為A類;輸出為-1時,輸入樣本稱為B類。從上可知感知器的分類邊界是:

在輸入樣本只有兩個分量X1,X2時,則有分類邊界條件:



也可寫成

這時的分類情況如圖所示。

感知器算法

感知器的學習算法: 目的在于找尋恰當的權系數(W1…Wn),使系統對一個特 定的樣本(X1…Xn)能產生期望值d。

感知器學習算法步驟如下:

對權系數置初值。


輸入一樣(X1…Xn)本以及它的期望輸出d。


期望輸出值d在樣本的類屬不同時取值不同。如果是A類,則取d=1,如果是B類,則取-1。期望輸出d也即是教師信號。


計算實際輸出值。



根據實際輸出求誤差e。



用誤差e去修改權系數。



轉到第2點,一直執行到一切樣本均穩定為止。

感知器是整個神經網絡的基礎,神經元通過激勵函數確定輸出,神經元之間通過權值進行傳遞能量,權重的確定根據誤差來進行調節(這個就是學習的過程),這個方法的前提是整個網絡是收斂的。這個問題,1957年Frank Rosenblatt證明了這個結論。

或許這才是開始

但是1969年,Minsky 和Papert所著的《Perceptron》一書出版,該書從數學角度證明了關于單層感知器的計算具有根本的局限性,指出感知器的處理能力有限,甚至連XOR這樣的問題也不能解決,并在多層感知器的總結中,論述了單層感知器的所有局限性在多層感知器中是不可能被全部克服的。神經網絡進入了蕭條期。

Marvin Minsky是“人工智能之父”,1970年,Minsky獲得了計算機科學界最高獎項——圖靈獎(the Turing Award),同時他也是第一位獲此殊榮的人工智能學者。2016 年1月24日,上帝著需要人工智能,帶走了Marvin Minsky,享年89歲。

這才是開始,2004年IEEE Frank Rosenblatt Award成立,Frank Rosenblatt被尊稱為神經網絡的創立者。

神經網絡開啟了人類對大腦的模擬形式,一種新型對大腦的建模,在這條路上后續有更多的科學家前仆后繼,我們是樹下乘涼的人。
(未完待續)


?

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容