1.1 深度學(xué)習(xí)概論
整理：飛龍
什么是神經(jīng)網(wǎng)絡(luò)？
“深度學(xué)習(xí)”指的是訓(xùn)練神經(jīng)網(wǎng)絡(luò)，有時(shí)候規(guī)模很大，那么神經(jīng)網(wǎng)絡(luò)究竟是什么呢？在這個(gè)視頻中，我會(huì)講些直觀的基礎(chǔ)知識(shí)。
我們從一個(gè)房?jī)r(jià)預(yù)測(cè)的例子開(kāi)始。假設(shè)有一個(gè)六間房屋的數(shù)據(jù)集，已知房屋的面積，單位是平方英尺或平方米，以及房屋價(jià)格。你想要找到一個(gè)函數(shù)，根據(jù)房屋面積來(lái)預(yù)測(cè)房?jī)r(jià)。
如果你懂線性回歸，你可能會(huì)說(shuō)，好吧，用這些數(shù)據(jù)來(lái)擬合一條直線。于是，你可能會(huì)得到這樣一條直線。但奇怪的是，你可能也知道，價(jià)格永遠(yuǎn)不會(huì)為負(fù)，因此直線不大合適，它最后會(huì)讓價(jià)格為負(fù)。我們?cè)谶@里彎曲一點(diǎn)，讓它結(jié)束于 0。這條粗的藍(lán)線，就是你要的函數(shù)，根據(jù)房屋面積預(yù)測(cè)價(jià)格。
這里的直線擬合得很好。你可以把這個(gè)函數(shù)看成一個(gè)非常簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)，你剛剛用它來(lái)擬合房屋價(jià)格。這幾乎是最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)了。
讓我畫(huà)在這里，我們把房屋的面積，作為神經(jīng)網(wǎng)絡(luò)的輸入，稱之為x。通過(guò)這個(gè)節(jié)點(diǎn)，這個(gè)小圈圈，最后輸出了價(jià)格，用y表示。這個(gè)小圓圈就是一個(gè)獨(dú)立的神經(jīng)元，你的網(wǎng)絡(luò)實(shí)現(xiàn)了左邊這個(gè)函數(shù)的功能。這個(gè)神經(jīng)元所做的，就是輸入面積，完成線性運(yùn)算，取不小于 0 的值，最后輸出預(yù)測(cè)價(jià)格。
神經(jīng)網(wǎng)絡(luò)的文獻(xiàn)中，經(jīng)常看得到這個(gè)函數(shù)。這個(gè)函數(shù)一開(kāi)始是 0，然后就是一條直線。這個(gè)函數(shù)被稱作 ReLU 函數(shù)，全稱是“修正線性單元”。“修正”指的是取不小于 0 的值，這就是這個(gè)函數(shù)長(zhǎng)這樣的原因。不理解 ReLU 函數(shù)的話不用擔(dān)心，這門(mén)課的后面你還會(huì)看到它。
這是一個(gè)單神經(jīng)元網(wǎng)絡(luò)，規(guī)模很小的神經(jīng)網(wǎng)絡(luò)。大一點(diǎn)的神經(jīng)網(wǎng)絡(luò)是把這些單個(gè)神經(jīng)元堆疊起來(lái)形成的。你可以把這些神經(jīng)元想象成單獨(dú)的樂(lè)高積木，你通過(guò)搭積木來(lái)構(gòu)建一個(gè)更大的神經(jīng)網(wǎng)絡(luò)。
來(lái)看一個(gè)例子，我們不僅僅用房屋的面積來(lái)預(yù)測(cè)價(jià)格，現(xiàn)在你還有一些房屋的其它特征，知道了一些別的信息，比如臥室的數(shù)量。你可能想到，有一個(gè)很重要的因素會(huì)影響房屋價(jià)格，就是“家庭人數(shù)”。這個(gè)房屋能住下一個(gè)三口之家，四口之家或者五口之家，這個(gè)性質(zhì)和面積大小相關(guān)。還有臥室的數(shù)量，能否滿足住戶的家庭人數(shù)需求。
你可能知道郵編，在一些國(guó)家也被叫作郵政編碼。郵編或許能作為一個(gè)特征，說(shuō)明了步行化程度，這附近是不是高度步行化的？你是否能步行去雜貨店，或者是學(xué)校？是否需要開(kāi)車(chē)？有些人喜歡高度步行化的地方。另外還有富裕程度，在美國(guó)是這樣的，其它國(guó)家也可能一樣。郵編體現(xiàn)了附近學(xué)校的質(zhì)量。
我畫(huà)的每一個(gè)小圈圈，都可能是一個(gè) ReLU，即“修正線性單元”，或者其它的不那么線性的函數(shù)。基于房屋面積和臥室數(shù)量，你可以估算家庭人口。基于郵編，可以評(píng)估步行化程度，也可以評(píng)估學(xué)校質(zhì)量。最后你可能會(huì)認(rèn)為，人們?cè)敢庠诜课萆匣ㄙM(fèi)多少錢(qián)，和他們關(guān)注什么息息相關(guān)。在這個(gè)例子中，家庭人口、步行化程度以及學(xué)校質(zhì)量，都能幫助你預(yù)測(cè)房屋的價(jià)格。
在這個(gè)例子中x是所有的這四個(gè)輸入，y是預(yù)測(cè)的價(jià)格。通過(guò)把這些獨(dú)立的神經(jīng)元疊加起來(lái)，或者上一張幻燈片里面的簡(jiǎn)單的預(yù)測(cè)器（神經(jīng)元），現(xiàn)在有了一個(gè)稍微大一點(diǎn)的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)的部分神奇之處在于，當(dāng)你實(shí)現(xiàn)它之后，你要做的只是輸入x，就能得到輸出y。不管訓(xùn)練集有多大，所有的中間過(guò)程它都會(huì)自己完成。
那么你實(shí)際上做的就是這樣，這里有四個(gè)輸入的神經(jīng)網(wǎng)絡(luò)，輸入的特征可能是臥室的數(shù)量，郵政編碼和周邊的富裕程度。已知這些輸入的特征，神經(jīng)網(wǎng)絡(luò)的工作就是預(yù)測(cè)對(duì)應(yīng)的價(jià)格。
同時(shí)請(qǐng)注意到，這些圈圈，在一個(gè)神經(jīng)網(wǎng)絡(luò)中，它們被叫做“隱藏單元”。每個(gè)的輸入都同時(shí)來(lái)自四個(gè)特征，比如說(shuō)，我們不會(huì)具體說(shuō)，第一個(gè)節(jié)點(diǎn)表示家庭人口，或者說(shuō)家庭人口僅取決于特征x1和x2。我們會(huì)這么說(shuō)，對(duì)于神經(jīng)網(wǎng)絡(luò)，你自己決定這個(gè)節(jié)點(diǎn)是什么。我們只給你四個(gè)輸入特征，隨便你怎么計(jì)算。因此我們說(shuō)這一層，輸入層，以及在中間的這一層，在神經(jīng)網(wǎng)絡(luò)中連接數(shù)是很高的。因?yàn)檩斎氲拿恳粋€(gè)特征，都連接到了中間的每個(gè)圈圈。
值得注意的是，對(duì)于神經(jīng)網(wǎng)絡(luò)，只有你喂給它足夠多的關(guān)于x和y的數(shù)據(jù)，得到足夠的x、y訓(xùn)練樣本，就非常擅長(zhǎng)于計(jì)算從x到y的精準(zhǔn)映射函數(shù)。這就是一個(gè)基本的神經(jīng)網(wǎng)絡(luò)，你可能發(fā)現(xiàn)，自己的神經(jīng)網(wǎng)絡(luò)在監(jiān)督學(xué)習(xí)的環(huán)境下是如此有效和強(qiáng)大。也就是說(shuō)，你只要嘗試輸入一個(gè)x，即可把它映射成y，像我們?cè)趧偛欧績(jī)r(jià)預(yù)測(cè)的例子中看到的。
在下一個(gè)視頻中，你會(huì)看到更多監(jiān)督學(xué)習(xí)的例子。有些例子會(huì)讓你覺(jué)得，你的神經(jīng)網(wǎng)絡(luò)對(duì)你的應(yīng)用場(chǎng)合非常有幫助。
用神經(jīng)網(wǎng)絡(luò)進(jìn)行監(jiān)督學(xué)習(xí)
神經(jīng)網(wǎng)絡(luò)有時(shí)被媒體炒作得很厲害，考慮到它們的使用效果，有些說(shuō)法還是靠譜的。事實(shí)上到目前為止，幾乎所有由神經(jīng)網(wǎng)絡(luò)創(chuàng)造的經(jīng)濟(jì)價(jià)值，都基于其中一種機(jī)器學(xué)習(xí)，我們稱之“監(jiān)督學(xué)習(xí)”。那是什么意思呢？我們來(lái)看一些例子。
在監(jiān)督學(xué)習(xí)中，輸入x會(huì)習(xí)得一個(gè)函數(shù)，它映射到輸出y。比如我們之前看到的，應(yīng)用于房?jī)r(jià)預(yù)測(cè)的例子。輸入房屋的一些特征，就能輸出或者預(yù)測(cè)價(jià)格y。下面是一些其它例子，這些例子中神經(jīng)網(wǎng)絡(luò)效果拔群。
很可能，今天通過(guò)深度學(xué)習(xí)獲利最大的，就是在線廣告。這也許不是最鼓舞人心的，但真的很賺錢(qián)。給網(wǎng)站輸入廣告信息，網(wǎng)站會(huì)考慮是否給你看這個(gè)廣告，有時(shí)還需要輸入一些用戶信息。神經(jīng)網(wǎng)絡(luò)在預(yù)測(cè)，你是否會(huì)點(diǎn)擊這個(gè)廣告，這方面已經(jīng)表現(xiàn)得很好了。通過(guò)向你展示，以及向用戶展示最有可能點(diǎn)開(kāi)的廣告，這就是神經(jīng)網(wǎng)絡(luò)在很多家公司，賺取無(wú)法想象的高額利潤(rùn)的應(yīng)用方式。因?yàn)橛辛诉@種能力，向你展示最有可能點(diǎn)擊開(kāi)的廣告，直接影響到了不少大型線上廣告公司的收入。
過(guò)去的幾年里，計(jì)算機(jī)視覺(jué)也有很大進(jìn)展，這要感謝深度學(xué)習(xí)。你輸入一個(gè)圖像，然后打算輸出一個(gè)下標(biāo)，可以是從 1 到 1000，來(lái)表明這張照片，是 1000 個(gè)不同的圖像中的某一個(gè)。它可以用來(lái)給照片打標(biāo)簽。
深度學(xué)習(xí)最近在語(yǔ)音識(shí)別方面的進(jìn)展也是非常令人興奮的。你可以將音頻片段輸入神經(jīng)網(wǎng)絡(luò)，它可以輸出文本。機(jī)器翻譯也進(jìn)步很大，這得感謝深度學(xué)習(xí)，讓你有一個(gè)神經(jīng)網(wǎng)絡(luò)，能實(shí)現(xiàn)輸入英語(yǔ)句子，它直接輸出一個(gè)中文句子。
在無(wú)人駕駛技術(shù)中，你輸入一幅圖像，比如汽車(chē)前方的一個(gè)快照，還有一些雷達(dá)信息。基于這個(gè)，訓(xùn)練過(guò)的神經(jīng)網(wǎng)絡(luò)，能告訴你路上其他汽車(chē)的位置。這是無(wú)人駕駛系統(tǒng)的關(guān)鍵組件。
神經(jīng)網(wǎng)絡(luò)創(chuàng)造這么多價(jià)值的案例中，你要機(jī)智地選擇x和y，才能解決特定問(wèn)題。然后把這個(gè)監(jiān)督學(xué)習(xí)過(guò)的組件，嵌入到更大型的系統(tǒng)中，比如無(wú)人駕駛。可以看出，稍微不同的神經(jīng)網(wǎng)絡(luò)，也可應(yīng)用到不同的地方。比如說(shuō)，應(yīng)用到房地產(chǎn)上。我們上節(jié)課看到，我們用了通用標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)架構(gòu)，是吧？對(duì)于房地產(chǎn)和在線廣告，用的都是相對(duì)標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)，正如我們之前見(jiàn)到的。
圖像領(lǐng)域里，我們經(jīng)常應(yīng)用的是卷積神經(jīng)網(wǎng)絡(luò)，通常縮寫(xiě)為 CNN。對(duì)于序列數(shù)據(jù)，例如音頻中含有時(shí)間成分，對(duì)吧？音頻是隨著時(shí)間播放的，所以音頻很自然地被表示為一維時(shí)間序列。對(duì)于序列數(shù)據(jù)，你經(jīng)常使用 RNN，循環(huán)神經(jīng)網(wǎng)絡(luò)。
對(duì)于語(yǔ)言，英語(yǔ)和漢語(yǔ)，字母或單詞，都是逐個(gè)出現(xiàn)的。所以，語(yǔ)言最自然的表示方式也是序列數(shù)據(jù)。更復(fù)雜的 RNN 經(jīng)常會(huì)用于這些應(yīng)用。對(duì)于更復(fù)雜的應(yīng)用，比如無(wú)人駕駛，你有一張圖片，可能需要 CNN “卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)” 架構(gòu)去處理。雷達(dá)信息會(huì)更不一樣，你需要一些更復(fù)雜的，混合的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。
所以，為了更具體地說(shuō)明，標(biāo)準(zhǔn)的 CNN 和 RNN 結(jié)構(gòu)是什么。在文獻(xiàn)中，你可能見(jiàn)過(guò)這樣的圖片，這是一個(gè)標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)。你可能見(jiàn)過(guò)這樣的圖片，這是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)。在后續(xù)的課程，我們會(huì)去了解這幅圖的含義和如何實(shí)現(xiàn)它。卷積網(wǎng)絡(luò)通常用于圖像數(shù)據(jù)。你可能也會(huì)看到這樣的圖片，后續(xù)的課程也會(huì)去實(shí)現(xiàn)它。循環(huán)神經(jīng)網(wǎng)絡(luò)非常適合處理一維序列數(shù)據(jù)，其中包含時(shí)間成分。
你可能也聽(tīng)說(shuō)過(guò)，機(jī)器學(xué)習(xí)被應(yīng)用于結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，下面是這些術(shù)語(yǔ)的含義。結(jié)構(gòu)化數(shù)據(jù)，是數(shù)據(jù)的數(shù)據(jù)庫(kù)，例如在房?jī)r(jià)預(yù)測(cè)中，你可能有一個(gè)數(shù)據(jù)庫(kù)或者數(shù)據(jù)列，告訴你房間的大小和臥室數(shù)量，這就是結(jié)構(gòu)化數(shù)據(jù)。在預(yù)測(cè)用戶是否會(huì)點(diǎn)擊廣告的例子中，你可能會(huì)有用戶信息比如年齡，還有廣告信息，還有你要預(yù)測(cè)的標(biāo)簽y，這就是結(jié)構(gòu)化數(shù)據(jù)，意味著每個(gè)特征，比如說(shuō)房屋大小、臥房數(shù)量、用戶的年齡，都有著清晰的定義。
相反，非結(jié)構(gòu)化數(shù)據(jù)指的是，比如音頻、原始音頻、圖像，你想要識(shí)別圖像或文本中的內(nèi)容。這里的特征可能是圖像中的像素值，或者是文本中的單個(gè)單詞。從歷史角度看，與結(jié)構(gòu)化數(shù)據(jù)比較，非結(jié)構(gòu)化數(shù)據(jù)讓計(jì)算機(jī)理解起來(lái)更難。但人類進(jìn)化到現(xiàn)在，很擅長(zhǎng)理解音頻信號(hào)和圖像。文本是一個(gè)更近代的發(fā)明，但人們真的很擅長(zhǎng)解讀非結(jié)構(gòu)化數(shù)據(jù)。
神經(jīng)網(wǎng)絡(luò)的興起過(guò)程中，最令人興奮的事情之一就是，多虧了深度學(xué)習(xí)，多虧了神經(jīng)網(wǎng)絡(luò)，計(jì)算機(jī)現(xiàn)在能更好地解釋非結(jié)構(gòu)化數(shù)據(jù)。和幾年前對(duì)比的話，這給我們創(chuàng)造了很多令人興奮的應(yīng)用機(jī)會(huì)。語(yǔ)音識(shí)別、圖像識(shí)別、自然語(yǔ)言文字處理。現(xiàn)在能做的事情，比兩三年前要豐富多了，我認(rèn)為，因?yàn)槿藗兩鷣?lái)就有能力，來(lái)理解非結(jié)構(gòu)化數(shù)據(jù)。
你可能知道，神經(jīng)網(wǎng)絡(luò)在非結(jié)構(gòu)化數(shù)據(jù)上的成功，尤其是媒體。當(dāng)神經(jīng)網(wǎng)絡(luò)識(shí)別了一只貓時(shí)，那真的很酷。我們都知道，那意味著什么。神經(jīng)網(wǎng)絡(luò)在很多短期經(jīng)濟(jì)價(jià)值的創(chuàng)造，是基于結(jié)構(gòu)化數(shù)據(jù)的，比如更好的廣告系統(tǒng)，更好的獲利建議，有更好的能力去處理很多公司擁有的海量數(shù)據(jù)庫(kù)，并用這些數(shù)據(jù)準(zhǔn)確預(yù)測(cè)未來(lái)趨勢(shì)。
在這門(mén)課中，我們會(huì)學(xué)到很多技巧，可以應(yīng)用到結(jié)構(gòu)化數(shù)據(jù)，也可以應(yīng)用到非結(jié)構(gòu)化數(shù)據(jù)。為了更清楚地解釋算法原理，我們會(huì)多用非結(jié)構(gòu)化數(shù)據(jù)的例子。但當(dāng)你自己的團(tuán)隊(duì)評(píng)估了各種神經(jīng)網(wǎng)絡(luò)的應(yīng)用之后，希望你的算法能夠同時(shí)學(xué)習(xí)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò)徹底改變了監(jiān)督學(xué)習(xí)，正創(chuàng)造著巨大的經(jīng)濟(jì)價(jià)值。
其實(shí)呢，基本的神經(jīng)網(wǎng)絡(luò)背后的技術(shù)理念，大部分都不是新概念，有些甚至有幾十年歷史了。那么，為什么它們現(xiàn)在才流行，才行之有效呢？下一集視頻中我們將討論，為什么是最近神經(jīng)網(wǎng)絡(luò)才成為你可以使用的強(qiáng)大工具。
為什么深度學(xué)習(xí)會(huì)興起？
如果深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)背后的基本技術(shù)理念，已經(jīng)有好幾十年了，為什么現(xiàn)在才突然流行起來(lái)呢？在這個(gè)視頻中，讓我們看一些讓深度學(xué)習(xí)流行起來(lái)的主要因素。這將會(huì)幫助你在自己的組織中，發(fā)現(xiàn)好機(jī)會(huì)來(lái)應(yīng)用這些東西。
在過(guò)去的幾年里很多人問(wèn)我，為什么深度學(xué)習(xí)突然這么厲害了？我回答的時(shí)候通常給他們畫(huà)個(gè)圖。橫上代表完成任務(wù)的數(shù)據(jù)數(shù)量，縱軸代表機(jī)器學(xué)習(xí)算法的性能，比如垃圾郵件過(guò)濾的準(zhǔn)確率，廣告點(diǎn)擊預(yù)測(cè)的準(zhǔn)確率，用于無(wú)人駕駛中判斷其他車(chē)輛位置的神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率。
根據(jù)圖像可以發(fā)現(xiàn)，把傳統(tǒng)機(jī)器學(xué)習(xí)算法的表現(xiàn)，比如說(shuō)支持向量機(jī)，或logistic回歸作為數(shù)據(jù)量的一個(gè)函數(shù)，你可能得到這樣的曲線。它的性能一開(kāi)始增加數(shù)據(jù)時(shí)會(huì)上升，但是一段時(shí)間之后它的性能進(jìn)入平臺(tái)期。假設(shè)水平軸拉的很長(zhǎng)很長(zhǎng)，那是因?yàn)檫@些模型無(wú)法處理海量數(shù)據(jù)。而過(guò)去20年在我們的社會(huì)中，我們遇到的很多問(wèn)題，早期只有相對(duì)較少的數(shù)據(jù)量，多虧了數(shù)字化社會(huì)，現(xiàn)在收集海量數(shù)據(jù)輕而易舉。
我們?nèi)祟惢撕芏鄷r(shí)間在數(shù)字王國(guó)中，在電腦上，在網(wǎng)站上，在手機(jī)軟件上，數(shù)字設(shè)備上的活動(dòng)都能創(chuàng)造數(shù)據(jù)，同時(shí)也歸功于便宜的相機(jī)，被內(nèi)置到移動(dòng)電話，還有加速儀，以及物聯(lián)網(wǎng)中的各種傳感器。我們收集到了越來(lái)越多的數(shù)據(jù)，過(guò)去20年，很多應(yīng)用中我們收集到了大量的數(shù)據(jù)，遠(yuǎn)超過(guò)傳統(tǒng)學(xué)習(xí)算法能發(fā)揮作用的規(guī)模。
神經(jīng)網(wǎng)絡(luò)模型的話，我們發(fā)現(xiàn)，如果你訓(xùn)練一個(gè)小型的神經(jīng)網(wǎng)絡(luò)，那么性能可能會(huì)像這樣。如果你訓(xùn)練一個(gè)稍微大一點(diǎn)的神經(jīng)網(wǎng)絡(luò)，一個(gè)中等規(guī)模的神經(jīng)網(wǎng)絡(luò)，性能表現(xiàn)也會(huì)更好一些。你訓(xùn)練一個(gè)非常大的神經(jīng)網(wǎng)絡(luò)，性能就會(huì)是這樣，還會(huì)越來(lái)越好。
注意到兩點(diǎn)，一點(diǎn)是如果你想達(dá)到這么高的性能水平，有兩個(gè)條件。第一個(gè)是需要訓(xùn)練一個(gè)規(guī)模足夠大的神經(jīng)網(wǎng)絡(luò)，以發(fā)揮數(shù)據(jù)規(guī)模量巨大的優(yōu)點(diǎn)。另外，要到x軸的這個(gè)位置需要很多的數(shù)據(jù)。因此我們經(jīng)常說(shuō)，規(guī)模一直在推動(dòng)深度學(xué)習(xí)的進(jìn)步。
說(shuō)到“規(guī)模”，我指的不僅是神經(jīng)網(wǎng)絡(luò)的規(guī)模，我們需要一個(gè)有許多隱藏單元的神經(jīng)網(wǎng)絡(luò)，有許多的參數(shù)，許多的連接，而且還有數(shù)據(jù)“規(guī)模”。事實(shí)上，要在神經(jīng)網(wǎng)絡(luò)上獲得更好的表現(xiàn)，在今天最可靠的手段，往往就是要么訓(xùn)練一個(gè)更大的神經(jīng)網(wǎng)絡(luò)，要么投入更多的數(shù)據(jù)。這只能在一定程度上起作用，因?yàn)樽罱K你耗盡了數(shù)據(jù)，或者最終你的網(wǎng)絡(luò)規(guī)模太大，需要的訓(xùn)練時(shí)間太久。但提升規(guī)模已經(jīng)讓我們?cè)谏疃葘W(xué)習(xí)的世界中獲得了大量進(jìn)展。
為了使這個(gè)圖從技術(shù)上更準(zhǔn)確一點(diǎn)，我還要加點(diǎn)說(shuō)明。我在x軸下面已經(jīng)寫(xiě)明了的數(shù)據(jù)量，技術(shù)點(diǎn)說(shuō)，這是“帶標(biāo)簽的數(shù)據(jù)”量。在訓(xùn)練樣本時(shí)，我們有輸入x和標(biāo)簽y。我介紹一點(diǎn)符號(hào)約定，這在后面的課程中都會(huì)用到。我們使用小寫(xiě)的字母m，表示訓(xùn)練集的規(guī)模，或者說(shuō)訓(xùn)練樣本的數(shù)量。這個(gè)小寫(xiě)字母m這就是水平軸。
圖像還有其他細(xì)節(jié)，訓(xùn)練集不大的這一塊來(lái)說(shuō)，各種算法的性能相對(duì)排名并不是很確定。訓(xùn)練集不大的時(shí)候，效果會(huì)取決于你手工設(shè)計(jì)的組件，會(huì)決定最終的表現(xiàn)。因此很有可能，假設(shè)有些人訓(xùn)練出了一個(gè)SVM，可能是因?yàn)槭止ぴO(shè)計(jì)組件很厲害，有些人訓(xùn)練的規(guī)模會(huì)大一些，可能訓(xùn)練集不大的時(shí)候，SVM表現(xiàn)更好。在這個(gè)圖形區(qū)域的左邊，各種算法之間優(yōu)劣并不是定義得很明確，最終的性能更多取決于手工設(shè)計(jì)組件的技能，以及算法處理方面的一些細(xì)節(jié)。只有在大數(shù)據(jù)領(lǐng)域，非常龐大的訓(xùn)練集，也就是在右邊m非常大時(shí)，我們才能見(jiàn)到，神經(jīng)網(wǎng)絡(luò)穩(wěn)定地領(lǐng)先其它算法。
如果某個(gè)朋友問(wèn)你，為什么神經(jīng)網(wǎng)絡(luò)這么流行？我鼓勵(lì)你也給他們畫(huà)這樣一個(gè)圖像，可以這么說(shuō)，在深度學(xué)習(xí)崛起的初期，是數(shù)據(jù)和計(jì)算能力規(guī)模的進(jìn)展。訓(xùn)練一個(gè)特別大的神經(jīng)網(wǎng)絡(luò)的能力，無(wú)論是在CPU還是GPU上，是這些發(fā)展才讓我們?nèi)〉昧司薮蟮倪M(jìn)步。
但是漸漸地，尤其是在最近這幾年，我們也見(jiàn)證了算法方面的極大創(chuàng)新。我也不想忽略算法方面的巨大貢獻(xiàn)。有趣的是，許多算法方面的創(chuàng)新，都為了讓神經(jīng)網(wǎng)絡(luò)運(yùn)行得更快。舉一個(gè)具體的例子，神經(jīng)網(wǎng)絡(luò)方面的一個(gè)巨大突破是，從sigmoid函數(shù)轉(zhuǎn)換到這樣的ReLU函數(shù)。這個(gè)函數(shù)我們?cè)谥暗囊曨l里提到過(guò)，形狀就像這樣。如果你無(wú)法理解，剛才我說(shuō)的某個(gè)細(xì)節(jié)，也不需要擔(dān)心。但使用sigmoid函數(shù)，機(jī)器學(xué)習(xí)問(wèn)題是，對(duì)于這個(gè)區(qū)域 sigmoid函數(shù)的斜率，梯度會(huì)接近0，所以學(xué)習(xí)會(huì)變得非常緩慢，因?yàn)橛锰荻认陆捣〞r(shí)，梯度接近0時(shí)，參數(shù)會(huì)變化得很慢，學(xué)習(xí)也會(huì)變得很慢。而通過(guò)改變激活函數(shù)，神經(jīng)網(wǎng)絡(luò)用這個(gè)函數(shù)，修正線性單元ReLU，它的梯度對(duì)于所有為正值的輸入輸出都是1，因此梯度不會(huì)逐漸趨向0。而這里的梯度，這條線的斜率，在這左邊是0。我們發(fā)現(xiàn)，只需將sigmod函數(shù)轉(zhuǎn)換成ReLU函數(shù)，便能夠使得“梯度下降法”運(yùn)行得更快。
這就是一個(gè)例子，有點(diǎn)簡(jiǎn)單的算法創(chuàng)新的例子，但是最終算法創(chuàng)新所帶來(lái)的影響，是增加計(jì)算速度。有很多像這樣的例子，我們通過(guò)改變算法，使得代碼運(yùn)行得更快。這也使得我們，能夠訓(xùn)練規(guī)模更大的神經(jīng)網(wǎng)絡(luò)，或者在合理的時(shí)間內(nèi)完成計(jì)算。即使在數(shù)據(jù)量很大，網(wǎng)絡(luò)也很大的場(chǎng)合，快速計(jì)算很重要的另一個(gè)原因是，訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過(guò)程，很多時(shí)候是憑直覺(jué)的。你有了關(guān)于神經(jīng)網(wǎng)絡(luò)架構(gòu)的想法，然后你寫(xiě)代碼實(shí)現(xiàn)你的想法。然后跑一下實(shí)驗(yàn)，可以告訴你，你的神經(jīng)網(wǎng)絡(luò)效果有多好，知道結(jié)果之后再回去，改你的神經(jīng)網(wǎng)絡(luò)中的一些細(xì)節(jié)。然后你不斷重復(fù)這個(gè)循環(huán)。當(dāng)你的神經(jīng)網(wǎng)絡(luò)需要很長(zhǎng)時(shí)間去訓(xùn)練，需要很長(zhǎng)時(shí)間才能走一圈循環(huán)的話，在實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)時(shí)，迭代速度對(duì)你的效率影響巨大。
如果你有一個(gè)想法，直接去試，10分鐘后就能看到結(jié)果，或者最多花上一天。如果你訓(xùn)練你的神經(jīng)網(wǎng)絡(luò)，用了一個(gè)月的時(shí)間，有時(shí)候確實(shí)需要那么久。如果你能很快得到結(jié)果，比如10分鐘或者一天內(nèi)，你就可以嘗試更多的想法。那你就很可能發(fā)現(xiàn)，適合你的應(yīng)用的神經(jīng)網(wǎng)絡(luò)。所以計(jì)算速度的提升，真的有幫助提高迭代速度，讓你更快地得到實(shí)驗(yàn)結(jié)果。這也同時(shí)幫助了神經(jīng)網(wǎng)絡(luò)的從業(yè)人員，和有關(guān)項(xiàng)目的研究人員，在深度學(xué)習(xí)的工作中迭代得更快，也能夠更快地改進(jìn)你的想法。所有這些都極大推動(dòng)了，整個(gè)深度學(xué)習(xí)社區(qū)的研究，快到令人難以置信。
人們一直在發(fā)明新的算法，持續(xù)不斷地進(jìn)步，是這些力量支持了深度學(xué)習(xí)的崛起。但好消息是，這些力量還在不斷發(fā)揮作用，讓深度學(xué)習(xí)更進(jìn)一步。我們看數(shù)據(jù)，我們的社會(huì)還在產(chǎn)生更多的數(shù)字化數(shù)據(jù)。我們看計(jì)算，GPU這類專用硬件還在繼續(xù)發(fā)展，網(wǎng)絡(luò)速度更快，各種硬件更快。我很有信心，我們實(shí)現(xiàn)超級(jí)大規(guī)模神經(jīng)網(wǎng)絡(luò)的能力，或者從計(jì)算能力這個(gè)角度看，也在繼續(xù)進(jìn)展。我們看算法，我希望深度學(xué)習(xí)研究社區(qū)，能在算法上持續(xù)創(chuàng)新。基于這些，我們可以樂(lè)觀地回答，深度學(xué)習(xí)還會(huì)繼續(xù)進(jìn)步很多年。
讓我們繼續(xù)，最后一個(gè)課程視頻中，我們會(huì)談到通過(guò)這門(mén)課，你能學(xué)到什么。
關(guān)于這門(mén)課
學(xué)習(xí)進(jìn)度來(lái)到了這個(gè)“微專業(yè)”第一門(mén)課第一周的最后。快速地介紹一下，下一周將要學(xué)習(xí)什么內(nèi)容。在第一個(gè)視頻里我已經(jīng)說(shuō)過(guò)，本“微專業(yè)”一共有五門(mén)課，目前是第一門(mén)課。這門(mén)課將教會(huì)你最重要的基礎(chǔ)知識(shí)，深度學(xué)習(xí)最重要的基礎(chǔ)。第一門(mén)課的結(jié)尾，你將掌握如何建立并運(yùn)用一個(gè)深度神經(jīng)網(wǎng)絡(luò)。
下面是第一門(mén)課的一些細(xì)節(jié)，這門(mén)課有四個(gè)星期的學(xué)習(xí)材料。目前你就要完成第一周的學(xué)習(xí)了，學(xué)完了深度學(xué)習(xí)的入門(mén)介紹。在每一周的結(jié)尾，都會(huì)有十道多選題，可以用來(lái)檢驗(yàn)自己對(duì)材料的理解。當(dāng)你看完這個(gè)視頻的時(shí)候，希望你能看看這些問(wèn)題，
在第二周你會(huì)學(xué)習(xí)到，神經(jīng)網(wǎng)絡(luò)的編程基礎(chǔ)，了解神經(jīng)網(wǎng)絡(luò)中，“正向傳播”和“反向傳播”的結(jié)構(gòu)，還有算法的過(guò)程，以及如何高效實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)。從第二周開(kāi)始，你也會(huì)開(kāi)始做一些編程練習(xí)，練習(xí)學(xué)到的知識(shí)，自己實(shí)現(xiàn)算法，親自調(diào)試到完美運(yùn)行。當(dāng)我學(xué)習(xí)算法的時(shí)候，那讓我很過(guò)癮，通過(guò)代碼編程，親自看到它完美運(yùn)行。我希望你們也喜歡。
在學(xué)習(xí)了神經(jīng)網(wǎng)絡(luò)編程的框架之后，在第三周，你會(huì)編寫(xiě)單隱層神經(jīng)網(wǎng)絡(luò)，你需要學(xué)習(xí)所有必需的關(guān)鍵概念，才能實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)。最后在第四周，你將建立了一個(gè)多層的深層神經(jīng)網(wǎng)絡(luò)，讓它為你服務(wù)。
恭喜你完成了這段視頻，我希望你現(xiàn)在對(duì)深度學(xué)習(xí)，有一個(gè)高層次的理解。也許有些人會(huì)想，自己想到了，哪里可以應(yīng)用深度學(xué)習(xí)。我希望看完這段視頻后，你會(huì)去看那10個(gè)多項(xiàng)選擇題，它們就在課程網(wǎng)站上，來(lái)檢查你的理解。不用復(fù)習(xí)，第一次做不知道所有答案，你可以多做幾次，直到你都做對(duì)了為止。我覺(jué)得這些問(wèn)題很有用，能保證我理解了所有概念，我希望你也可以做到。
再次祝賀你看到了這里，期待在第二周的視頻中也看到你。
課程資源
希望你能夠喜歡這門(mén)課程。為了幫助你完成課程，我想要確保，你知道有下面這些課程材料。
首先如果你有任何疑問(wèn)，想和這個(gè)課程的其它同學(xué)討論，想和包括我在內(nèi)的教學(xué)人員討論，或者想要?dú)w檔一個(gè)錯(cuò)誤報(bào)告，論壇是去做這些事情最好的地方。我和其他教學(xué)人員 會(huì)定期關(guān)注論壇，這也是一個(gè)，從與你一同學(xué)習(xí)本課程的同學(xué)獲取答案的好地方。如果你想要回答同學(xué)們的問(wèn)題，可以從課程首頁(yè)來(lái)到課程的論壇。
如果你看到左側(cè)的這個(gè)菜單欄，你的可能會(huì)看起來(lái)和我的有些不一樣，但都會(huì)有這個(gè)論壇模塊。當(dāng)你點(diǎn)擊它的時(shí)候，就會(huì)打開(kāi)課程論壇。
在論壇上提問(wèn)是問(wèn)問(wèn)題的最好方法，出于某些原因你可能想直接聯(lián)系我們，或是想讓我們知道一些問(wèn)題，盡管把郵件發(fā)送到這個(gè)郵箱地址。我保證我們會(huì)閱讀每一個(gè)郵件。我們會(huì)盡力去解決經(jīng)常出現(xiàn)的問(wèn)題，由于電子郵件的數(shù)量很多，我不能保證我們能夠迅速回復(fù)每一封郵件，但是我們會(huì)閱讀你發(fā)送的每一封郵件。
另外有些其它公司，想要給大批的職員培訓(xùn)深度學(xué)習(xí)的話，如果你在公司是負(fù)責(zé)培訓(xùn)工作，想深度學(xué)習(xí)專家來(lái)培訓(xùn)上百或者更多的雇員，盡管通過(guò)這個(gè)電子郵箱聯(lián)系我們，我們看看能否幫到你。我們?cè)陂_(kāi)發(fā)大學(xué)課程，但處于早期的階段，如果你是大學(xué)領(lǐng)導(dǎo)，或者管理人員，想在學(xué)校提供一門(mén)深度學(xué)習(xí)課程，請(qǐng)盡管通過(guò)這個(gè)郵箱地址聯(lián)系我們。
我會(huì)提供更多的資源，來(lái)完成這門(mén)課程，也許我會(huì)在論壇見(jiàn)到你噢，祝你好運(yùn)。
