深度學(xué)習(xí)概論
一、什么是神經(jīng)網(wǎng)絡(luò)
1.以房屋定價(jià)預(yù)測(cè)為例說(shuō)明什么是神經(jīng)網(wǎng)絡(luò)。
數(shù)據(jù)集:6個(gè)房屋數(shù)據(jù),輸入變量為大小size,輸出變量為價(jià)格Price-
1.1 僅僅考慮size作為輸入變量就能得到一個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)。
也就是輸入size,通過(guò)模型預(yù)測(cè),得到輸出房屋價(jià)格
一個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò) -
1.2 考慮多個(gè)因素的復(fù)雜模型
多個(gè)因素的復(fù)雜模型 -
1.3 事實(shí)上,在神經(jīng)網(wǎng)絡(luò)中,我們往往并不關(guān)心中間層的因素是啥,會(huì)讓神經(jīng)網(wǎng)絡(luò)自己決定,我們只關(guān)心輸入自變量
得到預(yù)測(cè)變量
。
神經(jīng)網(wǎng)絡(luò)示意圖
二、用神經(jīng)網(wǎng)絡(luò)進(jìn)行監(jiān)督學(xué)習(xí)
-
-
監(jiān)督學(xué)習(xí)Supervised Learning
簡(jiǎn)單來(lái)說(shuō)就是輸入自變量,找到合適的模型,輸出因變量。常見(jiàn)的監(jiān)督學(xué)習(xí)及其應(yīng)用如下。
監(jiān)督學(xué)習(xí)及其應(yīng)用
- CNN卷積神經(jīng)網(wǎng)絡(luò)適用于圖像數(shù)據(jù)處理
- RNN循環(huán)神經(jīng)網(wǎng)路適用于一維序列數(shù)據(jù),其中包含時(shí)間成分。
-
-
- 數(shù)據(jù)類型:
- Structured Data
數(shù)據(jù)的數(shù)據(jù)庫(kù),每個(gè)feature都有清晰的定義 -
Unstructured Data
音頻、原始音頻、圖像
特征可能是像素值,或者文本中的一個(gè)單詞
數(shù)據(jù)類型
計(jì)算機(jī)處理非結(jié)構(gòu)化數(shù)據(jù)更困難,但是人類很擅長(zhǎng)處理非結(jié)構(gòu)化數(shù)據(jù),神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的出現(xiàn)讓計(jì)算機(jī)能更好的解釋非結(jié)構(gòu)化數(shù)據(jù)。
-
-
深度學(xué)習(xí)的興起(為什么深度學(xué)習(xí)現(xiàn)在這么火?)
一圖以言之:
深度學(xué)習(xí)與傳統(tǒng)方法
- 規(guī)模推動(dòng)深度學(xué)習(xí),規(guī)模不僅是神經(jīng)網(wǎng)絡(luò)的規(guī)模還是數(shù)據(jù)(帶標(biāo)簽的數(shù)據(jù))的規(guī)模。
- 符號(hào)約定:
:數(shù)據(jù)集規(guī)模/訓(xùn)練樣本的數(shù)量
- 如上圖所示,如果數(shù)據(jù)集規(guī)模比較小的話,傳統(tǒng)方法例如支持向量機(jī)可能表現(xiàn)也很好,但是數(shù)據(jù)規(guī)模比較大的時(shí)候深度學(xué)習(xí)就會(huì)凸顯它的優(yōu)勢(shì)。
-
早期的神經(jīng)網(wǎng)絡(luò)更多的是數(shù)據(jù)和計(jì)算性能的發(fā)展,近幾年算法也在發(fā)展并加快計(jì)算速度,典型的例子就是sigmoid函數(shù)轉(zhuǎn)化為ReLu函數(shù)加速‘梯度下降法’計(jì)算速度。加快速度重要的另一個(gè)原因就是事關(guān)效率,可以更好地實(shí)現(xiàn)并改進(jìn)你的想法。
數(shù)據(jù)、計(jì)算與算法
-