這是 MIT 出版社 Essential Knowledge 系列中《Machine Learning: The New AI》的第一章。
當初讀很有啟發(fā)，最近開始重新學 ML，便用空閑時間翻譯過來。
這篇最有意思的兩點。第一，從計算機發(fā)展的角度來解釋當前這個大數(shù)據(jù)+AI 時代的產(chǎn)生。比起之前我看一些只是提到 Data + Computation 的直接說法，這無疑更讓人有種豁然開朗的感覺，因為現(xiàn)在這些很熱的詞匯 AI，大數(shù)據(jù)，物聯(lián)網(wǎng)什么，都跟基礎的計算發(fā)展有關，如果我們了解這些，那么對它們之間的連接也就更直觀，而不是松散的概念。
第二，關于如何從大腦中獲得智能理論，之后在進行不同硬件實現(xiàn)的設想。腦洞有點大，挺有意思的。
數(shù)字化的力量
在過去半世紀里，計算與數(shù)字技術給我們生活帶來巨大轉(zhuǎn)變。幾世紀前發(fā)明的工具，設備和服務，現(xiàn)在越來越多地被其數(shù)字化的“e-”版本所取代，而我們自身也在不斷地適應這種數(shù)字環(huán)境。
這種轉(zhuǎn)變非常之快：曾經(jīng)計算機價格昂貴，只有大組織，如政府，大公司，大學能負擔得起。那時也只有這些組織要計算機來解決一些難題，還能承擔得起采購和維護的高成本。那時，計算機“中心”，分布在不同樓層或建筑，里面容納著耗電量巨大的龐然大物，在大廳里，磁帶轉(zhuǎn)動，卡片打孔，數(shù)字被咀嚼，Bug (本義蟲子，又常指程序中的故障) 還是真正的蟲子。
很快，隨著計算機越來越廉價，可供更多人使用了，于是其應用領域也得到了擴大。一開始計算機只是個計算器，用來加減乘除數(shù)字，現(xiàn)在卻花樣百出。或許計算機技術的主要驅(qū)動力便是，當人們意識到每條信息都可數(shù)字化。這意味著之前處理數(shù)字的計算機，也能用于處理所有類型的信息（數(shù)字化的）了。
更確切說，計算機將每個數(shù)字表示為0或1的二進制數(shù)（比特）序列，之后這種序列也能表示其他信息。例如，“101100”可表示數(shù)字 44，同時也是逗號的代碼; 同樣，“1000001”同時是 65 和大寫字母'A'。根據(jù)環(huán)境，計算機程序用其中一種解釋來操作序列。
事實上，此類比特序列不僅可代表數(shù)字和文本，還能代表其他類型的信息 - 例如，照片的顏色或歌曲的色調(diào)，甚至計算機程序本身就是比特序列。此外，與這些信息相關聯(lián)的操作（例如使圖像更亮或在照片中找到面部）也能被轉(zhuǎn)換為操縱比特序列的命令序列。
計算機存儲數(shù)據(jù)
計算機的強大之處在于每條信息都能數(shù)字化表示，并且對于這些表示，都能寫成出計算機指令來進行操作。
這就導致了20世紀60年代數(shù)據(jù)庫的出現(xiàn)。數(shù)據(jù)庫是用于存儲和操縱數(shù)據(jù)的特殊程序。此外還有些外存儲設備，比如磁帶或磁盤，以磁性方式存儲數(shù)據(jù)，即使關機內(nèi)容也不會被擦除。
有了數(shù)據(jù)庫，計算機就不再只是處理信息的工具，更成了數(shù)字化信息的存儲庫。隨著時間推移，數(shù)字媒體變得越來越快速，廉價和可靠，以至于取代了紙，成了人類信息存儲的主要手段。
之后，微處理器的發(fā)明，以及其小型化和成本減少的并行發(fā)展，20世紀80年代初起，個人計算機越來越普及。這使得小型企業(yè)也能使用計算機了，但最重要的是計算機體積小且便宜，足以讓其成為日常家用電器了。這讓每個人發(fā)現(xiàn)了值得計算機處理的任務，于是應用程序大量增長，隨后便是數(shù)字技術民主化時代的到來。
圖形化界面和鼠標使計算機更易使用。我們不用學習編程，也不用記住各種復雜的指令。屏幕就是工作環(huán)境的數(shù)字模擬，有虛擬桌面，有文件，有圖標，甚至有垃圾桶，鼠標就是虛擬手，可以用它來選擇，閱讀或編輯。
同時，軟件也從商業(yè)應用轉(zhuǎn)向了個人應用，通過處理更多類型數(shù)據(jù)，讓生活更加數(shù)字化了。我們有文字處理器(Word)來處理信件和其他個人文件，有電子表格(Excel)來處理家用計算，還有音樂或攝影等愛好的軟件；如果想，還能用它來玩游戲！計算已經(jīng)成了日常。
用戶界面，還有各種日常應用，意味著人與計算機之間的一種和解，過去所熟悉的現(xiàn)實世界和數(shù)字世界的和解。計算機被編程得更好地適應我們的生活，而我們也慢慢地一點點去適應它們。隨著時間推移，使用電腦已是基本技能。
個人計算機使數(shù)字技術成為生活中的一個重要部分，對于這里要講到的故事而言，最重要的是它讓生活更多地被以數(shù)字方式記錄下來。因此，它是將我們生活數(shù)據(jù)化中很重要的基石，之后這些數(shù)據(jù)可用來分析和學習。
計算機交換數(shù)據(jù)
計算機的下一個重要發(fā)展便是連通性。雖然，之前有通過數(shù)據(jù)傳輸器連接計算機交換信息，但通過電話線或?qū)Ｓ镁€路，將個人計算機彼此連接或連接到服務器的商業(yè)系統(tǒng)，卻要等到90年代才普及起來。
計算機網(wǎng)絡意味著計算機不再是孤立的了，而可以與遠程的計算機交換數(shù)據(jù)。用戶不再局限于訪問自己計算機的數(shù)據(jù)，還能訪問其他地方的數(shù)據(jù)，如果想，也能將數(shù)據(jù)分享給其他用戶。
計算機網(wǎng)絡的發(fā)展很快便在因特網(wǎng)中到達了頂峰，因特網(wǎng)是一個覆蓋全球的計算機網(wǎng)絡。因特網(wǎng)使世界上任何能用計算機的人，都能向其他任何人發(fā)送電子郵件等信息。而且因為所有數(shù)據(jù)和設備都已數(shù)字化，于是可共享的信息就不僅僅是文本和數(shù)字；還能是圖像，視頻，音樂以及其他任何東西。
通過計算機網(wǎng)絡，數(shù)字化信息能以光速發(fā)給在任何地方的任何人。至此，計算機就不再僅僅只是存儲和處理數(shù)據(jù)的機器，它也成為了傳輸和共享信息的手段。計算機網(wǎng)絡發(fā)展很快，數(shù)字通信慢慢變得廉價，快速和可靠，以至于數(shù)字傳輸已取代實體郵件，成了信息傳輸?shù)闹饕绞健?/p>
任何“在線”的人都能在計算機上通過網(wǎng)絡向其他人分享數(shù)據(jù)，這便是萬維網(wǎng)誕生的方式。人們可以在“網(wǎng)上”沖浪，瀏覽這些共享信息。很快，通過安全協(xié)議還能共享一些機密信息，從而允許通過網(wǎng)絡進行商業(yè)交易，例如在線購物或銀行業(yè)務。這種在線連接性進一步增加了數(shù)字技術的滲透。當使用網(wǎng)絡服務提供商的“www.”門戶獲得在線服務時，計算機就會變成商店，銀行，圖書館或大學的數(shù)字版本；這，反過來，又創(chuàng)造了更多數(shù)據(jù)。
移動計算
每十年我們都能看到計算機變得越來越小，隨著電池技術的進步，在20世紀90年代中期，筆記本電腦也開始普及起來; 這開啟了移動計算的新時代。同一時間，手機也開始流行起來。在2005年左右，這兩項技術又都融入了智能手機中。
智能手機是種同時是計算機的手機。現(xiàn)在智能手機越來越智能，以至于手機最初的打電話功能，如今只是智能手機上眾多應用中的一個，還很少被用到。傳統(tǒng)手機是種聲學設備：你跟它說話，同時能聽到另一端的人說話。而今天的智能手機更像是個視覺設備; 它有個大屏幕，我們花更多時間在看屏幕，點擊它，而不是在說話。
智能手機就是臺始終在線的計算機，它允許用戶在移動時訪問互聯(lián)網(wǎng)，獲得各種信息。因此，它擴展了我們的連接性，讓我們更容易地連接網(wǎng)絡，例如在旅行時訪問其他計算機上的數(shù)據(jù)。此外，它還讓我們和我們的數(shù)據(jù)更容易被他人訪問了。
智能手機的一大特殊在于，它也是種移動傳感設備，因為它始終在我們身上，可以不斷記錄我們的信息，特別是位置，并可以提供這些數(shù)據(jù)。智能手機讓我們可以被檢測，被追蹤，被記錄。
計算機移動性的提高也只是最近的事情。最早計算機很大，在“計算中心”里；它保持固定，我們需要走到它面前使用。然后，我們可以坐在終端前使用計算機。再然后，一臺小型計算機出現(xiàn)在我們部門里，再然后，一臺較小的計算機放在我們辦公室或家里的桌子上，再然后，一臺更小的計算機出現(xiàn)在我們腿上，而現(xiàn)在，計算機已經(jīng)放在我們口袋里，天天陪伴我們了。
最早，計算機很少，可能每千人才有一臺計算機，比如每個公司或校園有臺計算機。這種人機比增加得非常快，而個人計算機的目標便是為每人配備一臺計算機。今天每個人都有很多臺計算機。別不信，其實現(xiàn)在我們所有的設備都是計算機，或里面有計算機。你的手機是臺計算機，你的電視也是，你的車內(nèi)有許多計算機用于不同功能，而你的iPod播放器就如你的相機或手表一樣是臺特殊的計算機。智能設備就是臺計算機，一臺可完成數(shù)字版所需功能的計算機。
普適計算是一個越來越受歡迎的術語；它意味著使用計算機，卻又意識不到在使用計算機。這意味著時刻使用大量計算機用于各種目的，而無需明確地將其稱為計算機。數(shù)字版本的功能，具有其通常的優(yōu)點，例如速度，準確性和易適應性。而另一個優(yōu)點是，設備的數(shù)字版本可記錄數(shù)字化的所有數(shù)據(jù)。此外，如果它在線，還能與其他在線計算機交流，并提供其數(shù)據(jù)。我們稱它們?yōu)椤爸悄芪锛保⑺鼈兊倪B接稱為物聯(lián)網(wǎng)。
社交數(shù)據(jù)
幾千年前，如果你想被畫被雕刻，或讓你的故事被記住和傳頌，你得是神。一千年前，你需要成為國王或王后，幾個世紀前，你需要成為富商或他的家人。然而現(xiàn)在，任何人，甚至湯罐頭也可以被畫。計算和數(shù)據(jù)也發(fā)生了類似的民主化。曾經(jīng)只有大型組織才有值得用計算機去解決的任務，也只有它們擁有數(shù)據(jù)；而從個人計算機開始，人們甚至是物件也成了數(shù)據(jù)的生成者。
數(shù)據(jù)一個最近的來源是社交媒體，它是我們社交互動的數(shù)字化，它取代了過去在集市，廣場，市場中的討論；我們可對它的數(shù)據(jù)進行收集，存儲和分析。
通過社交媒體，每個人現(xiàn)在都是名人，每個人的生活都值得關注，我們是自己的狗仔隊。每次我們在線，我們就是名人。社交媒體允許我們在生活中寫下自己的數(shù)字自傳。在過去，書籍和報紙價格昂貴，很少有東西能被記下來，除了那些英雄偉人的故事。而現(xiàn)在記錄數(shù)據(jù)變得很廉價，每個人都是自己小小在線領土的國王和王后。今天，寵愛孩子的父母，在孩子第一個月產(chǎn)生的數(shù)據(jù)，就比荷馬講述完奧德修斯的完整冒險的數(shù)據(jù)還多。
大數(shù)據(jù)：數(shù)據(jù)沖擊
所有由數(shù)字化機器和服務產(chǎn)生的數(shù)據(jù)，都曾被認為是數(shù)字化的副產(chǎn)品。而如今科學家為了有效地存儲和操作大量數(shù)據(jù)，已對數(shù)據(jù)庫進行大量研究，存儲數(shù)據(jù)是因為我們需要它。在過去二十年里，所有這些數(shù)據(jù)都成了一種資源；更多數(shù)據(jù)意味著更好。
設想一下，如果一家超市連鎖店每天向數(shù)百萬客戶銷售數(shù)千種商品，無論是在各地的實體店中，還是通過網(wǎng)上的虛擬商店。銷售點終端都是數(shù)字化的，并記錄每筆交易的詳細信息：客戶ID，購買的商品和價格，花費的總金額等等。這些商店都連接著網(wǎng)絡，于是所有商店中所有終端的數(shù)據(jù)就可以馬上傳輸?shù)街醒霐?shù)據(jù)庫中。這相當于每天都有很多（而且最新的）數(shù)據(jù)。
數(shù)據(jù)開始推動一切；不再是程序員，而是數(shù)據(jù)本身開始定義下一步該做什么。
在過去二十多年里，人們越發(fā)開始問自己，我們可以用這些數(shù)據(jù)做些什么。有了這個問題，整個計算機發(fā)展方向便發(fā)生了逆轉(zhuǎn)。過去，程序處理數(shù)據(jù)，又吐出來數(shù)據(jù)——數(shù)據(jù)是被動的。而現(xiàn)在，數(shù)據(jù)本身開始推動操作；于是便不再是程序員，而是數(shù)據(jù)定義下一步該如何做。
比如，超市連鎖店總希望知道哪位顧客可能會購買哪種商品。知道這些后，商店就能更有效地存貨，這將增加銷售和利潤；還能提高客戶滿意度，因為客戶能更快，更便捷地找到最符合其需求的產(chǎn)品。
然而這項任務并不簡單。我們不知道哪些人可能會購買這種口味冰淇淋，或看這部新電影。此外客戶行為還會隨時間，地理位置而變化。
但我們能知道的是，客戶行為并非完全隨機。人們不會去超市隨意買東西。當他們買啤酒時，也會買薯片；他們在夏天買冰淇淋，在冬天買 Glühwein 的香料。客戶行為中存在某些模式，這就是數(shù)據(jù)發(fā)揮作用的地方。
雖然我們不了解客戶行為模式，但我們希望在收集到的數(shù)據(jù)中看到它們。如果能在過去的數(shù)據(jù)中找到這種模式，那么就可以假設未來，至少在不久的將來，發(fā)生的將與收集到的數(shù)據(jù)沒太大不同，我們可以對其做出預測。
我們或許無法完全一致的發(fā)現(xiàn)背后的行為模式，但至少能構建出一個良好且有用的近似值。這種近似或許無法解釋所有過程，但可以解釋部分數(shù)據(jù)，檢測到一些模式。之后我們可以用這些模式來進行預測；它們也能幫助理解完整的行為模式。
這被稱為數(shù)據(jù)挖掘。類比自挖礦，從大量泥土中挖掘出少量非常珍貴的材料。同樣，在數(shù)據(jù)挖掘中，我們處理大量數(shù)據(jù)以構造具有使用價值的簡單模型，比如說有高預測準確性的模型。
數(shù)據(jù)挖掘是一種機器學習。因為我們不知道客戶行為的規(guī)則，無法編寫程序，但計算機可以通過從客戶的數(shù)據(jù)中提取出規(guī)則，來進行“學習”。
現(xiàn)在，許多潛在的應用存在于我們不知道規(guī)則，但卻有大量數(shù)據(jù)的地方。企業(yè)大量使用計算機和數(shù)字技術意味著，各種領域都有大量數(shù)據(jù)。個人在日常社交中也總使用計算機或智能設備，因此我們也有大量相關數(shù)據(jù)。
除了公司和個人數(shù)據(jù)，另一個數(shù)據(jù)來源是科學。隨著更好的傳感器的出現(xiàn)，可以檢測到更多數(shù)據(jù)，比如在天文學，生物學，物理學。我們需要用學習算法來理解這些越來越多的數(shù)據(jù)。
互聯(lián)網(wǎng)本身就是一個巨大的數(shù)據(jù)庫，我們需要智能算法來幫忙找到想要的東西。我們今天擁有的數(shù)據(jù)的一個重要特征是，它是多模態(tài)的，對于同一件感興趣的對象或事件，相關數(shù)據(jù)有文字，圖像，還有聲音等等各種形式。因此，現(xiàn)在機器學習的一個大的挑戰(zhàn)是，如何結合這些不同來源的數(shù)據(jù)。例如，在消費者數(shù)據(jù)分析中，除了過去的交易數(shù)據(jù)外，還有 Web 日志，這些日志也可能很有用。
隨著在日常中使用越來越多的智能設備，我們都成為了數(shù)據(jù)的生產(chǎn)者。每當購買產(chǎn)品，租用電影，訪問網(wǎng)頁，寫博客或在社交媒體上發(fā)帖時，甚至走路或開車時，我們都在生成數(shù)據(jù)。這些數(shù)據(jù)對于有興趣收集和分析的人來說很有價值，因為客戶們總是對的。此外數(shù)據(jù)本身也很有趣。
同時，我們每個人不僅是數(shù)據(jù)生產(chǎn)者，同時也是數(shù)據(jù)消費者。我們希望得到定制化的產(chǎn)品和服務，希望需求能被理解，興趣能被迎合。這都得靠分析我們過去的數(shù)據(jù)。
學習 VS 編程
為了用計算機解決問題，我們需要算法。算法就是一系列指令，用來將輸入轉(zhuǎn)為輸出。例如，可以設計一個用于排序的算法，輸入是一組數(shù)字，而輸出是這些數(shù)的有序數(shù)列。對于相同的任務，可能存在多個算法，有時可能對最有效的算法感興趣，有時可能對最少指令或內(nèi)存的算法感興趣，也或者都關注。
然而，對某些問題，沒有算法來解決。比如預測客戶行為；還有區(qū)分垃圾郵件。我們知道輸入：電子郵件，最簡單的情況就是文本消息。我們知道輸出：判斷是否為垃圾郵件。但卻不知道如何將輸入轉(zhuǎn)換為輸出。什么被認為是垃圾郵件的標準是隨時間而變化的，而且對于不同人也是不同的。
這些缺失的知識，就只能從數(shù)據(jù)中尋找了。我們可以輕松地編譯成千上萬條消息，其中一些知道是垃圾郵件，其中一些不是，我們想要的是，從這些樣本中“學習”到什么是垃圾郵件。換句話說，我們希望計算機自動提取該任務的算法。雖然沒有必要去學習排序數(shù)組的算法（已經(jīng)有了），但有很多應用我們并沒有算法，卻有大量數(shù)據(jù)。
人工智能
機器學習不僅只是個數(shù)據(jù)庫或編程問題；它也是人工智能的必要條件。一個處于不斷變化環(huán)境中的系統(tǒng)，應具備學習能力；否則很難稱為聰明。如果系統(tǒng)能學習并適應變化，系統(tǒng)設計者就無需預測，為所有可能情況提供解決方案。
對人類來說，進化就是我們的系統(tǒng)設計師，我們身體的形狀，以及內(nèi)在直覺反應都發(fā)展了數(shù)百萬年。我們還學會了如何在生活中改變自己的行為，這有助于應對進化無法預測的環(huán)境變化。在一個明確定義的環(huán)境中，一個簡單生命可能會內(nèi)置所有行為模式，但比起這種對生活中每種模式編碼出一個應對方法，進化給了我們大腦和其中的學習機制，讓我們能通過經(jīng)驗更新自己，適應不同的環(huán)境。這就是為什么人類能在非常不同的氣候和條件下，在全球不同地區(qū)生存繁榮。當我們在某種情況下學到最佳策略時，知識就會存儲在大腦中，當情況再次出現(xiàn)，就會回想起合適的策略并采取相應的行動。
我們每個人，甚至說每個動物，都是數(shù)據(jù)科學家。我們從傳感器收集數(shù)據(jù)，然后處理數(shù)據(jù)以獲得抽象規(guī)則來認知環(huán)境，并控制在該環(huán)境中的行為，以最小化疼痛或最大化愉悅。我們可以用記憶將這些規(guī)則存儲在大腦中，然后在需要時回憶并使用。并且學習是終身的，之后當環(huán)境發(fā)生變化，我們會遺忘或修改不再適用的規(guī)則。
然而，學習有其局限性。可能有些東西永遠無法通過大腦有限的能力來學習，就像我們永遠無法“學習“長出第三只手，或者是腦袋后長出眼睛（這得改變基因構成）。粗略地說，遺傳學定義了能工作上萬代的硬件，而學習則定義了在個人生命周期中運行在硬件上的軟件。
人工智能雖然可從大腦獲得啟發(fā)。比如，認知科學家和神經(jīng)科學家的為了了解大腦功能，建立了神經(jīng)網(wǎng)絡模型，并進行模擬研究。然而，人工智能現(xiàn)在主要是計算機科學的一部分，我們的目標是建立有用的系統(tǒng)，如在其他工程領域一樣。因此，雖然大腦給了啟發(fā)，但最終我們并不太關心所開發(fā)算法的生物合理性。
我們對大腦感興趣，是因為相信它能幫我們構建更好的計算機系統(tǒng)。大腦具有很多強大的功能，在許多領域超越了當前的工程產(chǎn)品 - 例如視覺，語音識別和學習方面。如果能在機器上實施這些，那么這些應用將具有非常大的經(jīng)濟效益。如果我們能夠理解大腦如何實現(xiàn)這些功能的，就能將這些任務的解決方案轉(zhuǎn)換成正式算法，并在計算機上實現(xiàn)。
計算機也被稱為“電腦”，但計算機和大腦是不同的。計算機通常具有一個或多個處理器，而大腦則由大量的處理單元（神經(jīng)元）組成，進行并行操作。盡管細節(jié)尚未太清楚，但一般認為這些處理單元比計算機中的一般處理器更簡單和更慢。另一個讓大腦與眾不同，并被認為提供其計算能力的特性，是它的超強連接性。大腦中的神經(jīng)元與成千上萬的其他神經(jīng)元用突觸連接，并且并行運行。在計算機中，處理器是主動一直運行的，而存儲器則是分離和被動的；然而在大腦中的處理器和存儲器，確是分布在網(wǎng)絡上的，處理由神經(jīng)元完成，記憶發(fā)生在神經(jīng)元的突觸中。
了解大腦
根據(jù) Marr（1982）的觀點，一個信息處理系統(tǒng)可分為三個層次來理解：
對應計算目標和任務抽象定義的計算理論；
表示和算法，關于如何表示輸入和輸出，以及關于從輸入轉(zhuǎn)換到輸出的算法的規(guī)范；
硬件實現(xiàn)是系統(tǒng)的實際物理實現(xiàn)。
這背后的思想是，對于相同計算理論，可能存在多個表示和操縱該表示中符號的算法。類似的，對于任何給定表示和算法，可能存在多個硬件實現(xiàn)。對于任何理論，可用眾多算法中的一個，對于這個算法，可用多個不同硬件中的一個實現(xiàn)。
舉個例子：'6'，'VI'和'110'是數(shù)字六的三種表示；分別是阿拉伯數(shù)字，羅馬數(shù)字和二進制數(shù)。根據(jù)所用表示，我們有不同的加法算法。數(shù)字計算機用二進制數(shù)，并且用特定電路對它做加法，這是種特定的硬件實現(xiàn)。而在算盤上，數(shù)字表示是不同的，而且加法操作也對應不同指令集，這是另一種硬件實現(xiàn)。當我們在腦袋中加兩個數(shù)時，會使用另一種表示，和適合于該表示的算法，該算法由神經(jīng)元實現(xiàn)。然而，所有這些硬件實現(xiàn)，大腦，算盤，計算機，都是為了實現(xiàn)同一個計算理論：加法。
還有一個典型的例子是，自然飛行器和人造飛行器的區(qū)別。一只麻雀拍打翅膀來飛；而一架飛機機翼卻不能拍打，而是用噴氣式發(fā)動機。麻雀和飛機是為不同目的而構建的兩種硬件實現(xiàn)，滿足不同約束。但都實現(xiàn)了相同的理論，即空氣動力學。
從這個角度，我們可以說大腦是一種用于學習的硬件實現(xiàn)。如果從這個實現(xiàn)中，能逆向工程提取出所用的表示和算法，然后從中獲得其所實現(xiàn)的計算理論，那么就可以用另一種表示和算法，用現(xiàn)有的更適合的硬件來實現(xiàn)，并且希望這個實現(xiàn)能更便宜，更快捷，更準確。
正如發(fā)現(xiàn)空氣動力學理論過程一樣，最初大家嘗試建造的飛行器看起來很像鳥類，因此也能預期，最初搭建具有大腦能力的系統(tǒng)時，也會是看起來像是具有大量處理單元網(wǎng)絡的大腦。在未來，當我們發(fā)現(xiàn)了智能的計算理論時，或許會發(fā)現(xiàn)神經(jīng)元和突觸只不過是實現(xiàn)細節(jié)，就像羽毛之于飛行一樣。
模式識別
在計算機科學里，很多任務我們都試著搭建，由人工規(guī)則和算法組成的“專家系統(tǒng)”。然而幾十年卻只取得了非常有限的成果。這里面涉及到的很多任務，都被認為需要一定程度的智能。而最近，一個方法讓我們看到了巨大進展，那就是在大量數(shù)據(jù)中使用機器學習。
舉個面孔識別的例子：人類能毫不費力地做到，我們每天都看臉或照片來識別家人和朋友，就算姿勢，燈光，發(fā)型等方面有差異，也能輕松識別出來。面部感知對人類很重要，因為我們要借來區(qū)分朋友和敵人。除了識別功能，這和生存也有很大關系，因為面部相當于我們內(nèi)部狀態(tài)的儀表板。從臉上可以讀到諸如快樂，憤怒，驚訝和羞恥之類的感覺，我們進化到了不光會展示這些狀態(tài)，也能從別人身上發(fā)現(xiàn)這些狀態(tài)。
雖然我們很容易就能做出這樣的識別，但卻是無意識和本能的，自己無法解釋是如何做到的。正因為無法解釋是如何做到的，所以也就無法編寫相應計算機程序。
而通過分析一個人的不同面部圖像，一個學習系統(tǒng)則會捕獲到特定于該人的模式，之后檢測給定圖像中是否有該模式。這是模式識別的一個例子。
我們能做到這個是因為，面部圖像就像任何自然圖像一樣，不只是隨機像素的集合（比如花屏的電視）。臉有其結構。它是對稱的，眼睛，鼻子和嘴巴位于臉部的某些部位。每個人的臉，都是這些部位特定組合的一種模式。當照明或姿勢發(fā)生變化時，當頭發(fā)變長或戴上眼鏡時，或當我們變老時，臉部圖像的某些部分會變化，但有些部分卻不會。這類似于客戶行為中定期購買和沖動購買。學習算法通過遍歷該一個人的多個圖像，來找到不變的辨別特征，還有它們?nèi)绾翁囟ńM合來定義這個人的臉。
當我們談學習的時候都談些什么
在機器學習中，目標是構建能擬合給定數(shù)據(jù)的程序。學習程序與普通程序不同之處在于，它是個具有可變參數(shù)的通用模板，并能為這些參數(shù)分配不同的值，來做不同的事情。學習算法可以通過調(diào)節(jié)模板（模型）的參數(shù)，不斷優(yōu)化在數(shù)據(jù)上定義的性能指標。
例如，對于面部識別器，學習算法會調(diào)整參數(shù)，以使得在一組訓練圖像上獲得最高的預測準確度。這種學習通常是重復和漸進的。學習程序一個個地看大量樣本圖像，對于每個樣本，參數(shù)都稍微更新一點，以便性能逐漸提高。就像人的學習過程：當我們學習任務時，也是一步步學習它，慢慢做得更好，無論是網(wǎng)球，幾何學還是外語。
在構建學習系統(tǒng)時，主要需考慮：
應記住，僅僅擁有大量數(shù)據(jù)，并不意味著就有可學習的規(guī)則。首先應確保底層規(guī)則是存在相關性，并且收集的數(shù)據(jù)能提供足夠信息，以便能以一定準確度學習它們。假設有一本包含人名和電話號碼的電話簿，那么認為名字和電話號碼之間有關系，然后用電話簿（無論多大）進行學習訓練，之后看到新名稱來預測相應電話號碼的行為是完全沒有意義的。
其次，學習算法本身應是高效的，因為通常我們會有很多數(shù)據(jù)，并希望學習盡可能快，并能有效地使用計算和內(nèi)存資源。還有在許多應用中，問題的隱藏特性可能會隨時間而變化；在這種情況下，先前收集的數(shù)據(jù)會變得過時，就要用新數(shù)據(jù)來有效地更新訓練模型。
最后，一旦學習系統(tǒng)被構建出，并開始使用它進行預測，它在記憶和計算方面也應是高效的。在某些應用中，最終模型的高效性，可能與其預測準確性一樣重要。
歷史
幾乎所有的科學都是用模型來擬合數(shù)據(jù)。科學家，如伽利略，牛頓和孟德爾，他們設計實驗，然后進行觀察并收集數(shù)據(jù)。之后，試圖通過設計理論來提取出知識，即建立模型來解釋觀察到的數(shù)據(jù)。之后再用這些理論來進行預測，如果預測錯誤，就收集更多數(shù)據(jù)并修改理論。這個數(shù)據(jù)收集和理論（模型）構建過程一直持續(xù)到他們得到了具有足夠解釋能力的模型為止。
我們現(xiàn)在已經(jīng)到了很難再對這些數(shù)據(jù)進行手動分析的地步，因為數(shù)據(jù)量巨大，難以進行人工分析。而且能進行這種分析的人并不多。因此，人們開始越來越關注，能自動分析數(shù)據(jù)，并從中提取信息的計算機程序，即學習系統(tǒng)。
學習算法起源于不同的科學領域。有時相同或非常相似的算法，通過不同的歷史路徑，在不同的領域中獨立發(fā)明出來并不罕見。
機器學習的主要理論來自統(tǒng)計學，其中從特定觀察到一般描述被稱為推理 （inference），而學習被稱為估計（estimation）。分類在統(tǒng)計學中稱為判別分析。統(tǒng)計學家過去常常在小樣本上工作，而且作為數(shù)學家，他們主要研究能用數(shù)學方法分析的簡單模型。而在工程中，分類被稱為模式識別，方法更經(jīng)驗主義。
在計算機科學中，作為人工智能研究的一部分，也對學習算法進行了研究；同時有一個平行但幾乎獨立的研究，被稱為數(shù)據(jù)庫中的知識發(fā)現(xiàn)；在電氣工程中，信號處理的研究，產(chǎn)生了自適應圖像處理和語音識別程序。
在20世紀80年代中期，人們對各個學科的人工神經(jīng)網(wǎng)絡模型產(chǎn)生了巨大的興趣。這些學科包括物理學，統(tǒng)計學，心理學，認知科學，神經(jīng)科學和語言學，更別說計算機科學，電氣工程和自適應控制領域。也許神經(jīng)網(wǎng)絡研究最重要的貢獻便是這種跨學科的共同作用，特別是統(tǒng)計學和計算機科學。始于20世紀80年代的神經(jīng)網(wǎng)絡研究并非偶然。那時，隨著VLSI（超大規(guī)模集成）技術的進步，我們獲得了構建有著數(shù)千個處理器的并行運算硬件的能力，而神經(jīng)網(wǎng)絡作為一種，可以將計算分布在大量處理單元并行運算的理論，也就引起了大家的興趣。并且，因為可以自我學習，而不需要人工編程，大家興趣就更大了。
