深度學(xué)習(xí)概論

一、什么是神經(jīng)網(wǎng)絡(luò)

• 1.以房屋定價(jià)預(yù)測(cè)為例說(shuō)明什么是神經(jīng)網(wǎng)絡(luò)。
  數(shù)據(jù)集：6個(gè)房屋數(shù)據(jù)，輸入變量為大小size，輸出變量為價(jià)格Price

• 1.1 僅僅考慮size作為輸入變量就能得到一個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)。
  也就是輸入size，通過(guò)模型預(yù)測(cè)，得到輸出房屋價(jià)格
  

  一個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)

• 1.2 考慮多個(gè)因素的復(fù)雜模型

  
  
  多個(gè)因素的復(fù)雜模型

• 1.3 事實(shí)上，在神經(jīng)網(wǎng)絡(luò)中，我們往往并不關(guān)心中間層的因素是啥，會(huì)讓神經(jīng)網(wǎng)絡(luò)自己決定，我們只關(guān)心輸入自變量 得到預(yù)測(cè)變量 。
  

  神經(jīng)網(wǎng)絡(luò)示意圖

二、用神經(jīng)網(wǎng)絡(luò)進(jìn)行監(jiān)督學(xué)習(xí)

• 1. 監(jiān)督學(xué)習(xí)Supervised Learning
     簡(jiǎn)單來(lái)說(shuō)就是輸入自變量，找到合適的模型，輸出因變量。常見(jiàn)的監(jiān)督學(xué)習(xí)及其應(yīng)用如下。

     
     
     監(jiān)督學(xué)習(xí)及其應(yīng)用
  • CNN卷積神經(jīng)網(wǎng)絡(luò)適用于圖像數(shù)據(jù)處理
  • RNN循環(huán)神經(jīng)網(wǎng)路適用于一維序列數(shù)據(jù)，其中包含時(shí)間成分。
• 2. 數(shù)據(jù)類型：
  • Structured Data
    數(shù)據(jù)的數(shù)據(jù)庫(kù)，每個(gè)feature都有清晰的定義

  • Unstructured Data
    音頻、原始音頻、圖像
    特征可能是像素值，或者文本中的一個(gè)單詞

    
    
    數(shù)據(jù)類型

計(jì)算機(jī)處理非結(jié)構(gòu)化數(shù)據(jù)更困難，但是人類很擅長(zhǎng)處理非結(jié)構(gòu)化數(shù)據(jù)，神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的出現(xiàn)讓計(jì)算機(jī)能更好的解釋非結(jié)構(gòu)化數(shù)據(jù)。

• 3. 深度學(xué)習(xí)的興起（為什么深度學(xué)習(xí)現(xiàn)在這么火？）
     一圖以言之：

     
     
     深度學(xué)習(xí)與傳統(tǒng)方法
  • 規(guī)模推動(dòng)深度學(xué)習(xí)，規(guī)模不僅是神經(jīng)網(wǎng)絡(luò)的規(guī)模還是數(shù)據(jù)（帶標(biāo)簽的數(shù)據(jù)）的規(guī)模。
  • 符號(hào)約定：
    ：數(shù)據(jù)集規(guī)模/訓(xùn)練樣本的數(shù)量
  • 如上圖所示，如果數(shù)據(jù)集規(guī)模比較小的話，傳統(tǒng)方法例如支持向量機(jī)可能表現(xiàn)也很好，但是數(shù)據(jù)規(guī)模比較大的時(shí)候深度學(xué)習(xí)就會(huì)凸顯它的優(yōu)勢(shì)。

  • 早期的神經(jīng)網(wǎng)絡(luò)更多的是數(shù)據(jù)和計(jì)算性能的發(fā)展，近幾年算法也在發(fā)展并加快計(jì)算速度，典型的例子就是sigmoid函數(shù)轉(zhuǎn)化為ReLu函數(shù)加速‘梯度下降法’計(jì)算速度。加快速度重要的另一個(gè)原因就是事關(guān)效率，可以更好地實(shí)現(xiàn)并改進(jìn)你的想法。

    
    
    數(shù)據(jù)、計(jì)算與算法