Basic concept:
Deep Learning is a new area of machine learning research, which has been introduced with the objective of moving machine learning closer to one of its original goals: artificial intelligence[1].
背景
在技術手段上，不僅依賴于云計算對于大數據的并行處理能力，還更依賴于算法。而這個算法就是Deep Learning，通過Deep Learning使得在處理“抽象概念”變得可能。其別名稱為：Unspervised Feature Learning。
2012年6月Stanford Prof. Andrew Ng通過（DNN，Deep Neural Networks）機器學習模型-其內部大約有10億個節點-在語音識別和圖像處理等領域取得了巨大成功。他們的做法是通過把海量的數據投放到算法中，讓數據自己說話，系統會從數據中學習。系統能夠自動的領悟一些抽象的知識。抽象，迭代
2013年1月百度研究院成立，其下屬第一個成立的就是“深度學習研究院（IDL, Institute of Deep Learning）”。
數據資源+云計算（硬件）+算法（軟件） 數據池->特征提取表達->DL
學術觀點
- 多隱層的人工神經網絡具有優異的特征學習能力，學習得到的特征對數據有更本質的刻畫，從而有利于可視化或分類；
- 深度神經網絡在訓練上的難度，可以通過“逐層初始化”（layer-wise pre-training）來有效克服，逐層初始化是通過無監督學習實現的。深度學習可通過學習一種深層非線性網絡結構，實現復雜函數逼近，表征輸入數據分布式表示，并展現了強大的從少數樣本集中學習數據集本質特征的能力。（多層的好處是可以用較少的參數表示復雜的函數）。
- 深度學習的實質，是通過構建具有很多隱層的機器學習模型和海量的訓練數據，來學習更有用的特征，從而最終提升分類或預測的準確性。因此，“深度模型”是手段，“特征學習”是目的。
特征學習，將樣本在原空間的特征表示變換到另一個新特征空間，使分類或預測更容易。
Deep Learning可以看作是Neural Network的發展。它們之間很多相同的地方，但是也有很多不同的地方。兩者相同地方：
- 采用分層結構，包括輸入層，隱層，輸出層組成的多層網絡；
- 只有鄰層節點之間有連接，同一層及跨層節點之間無連接；
- 每一個節點可以看作為一個logistic regression 模型；
Hinton、Bengio、Yann.lecun等提出了一個可行的Deep Learning框架。采用是一個layer-wise的訓練機制，相比Back propagation其殘差傳至最前層已經變得很小，出現了 gradient diffusion（梯度擴散）。
Contact : leland17
Wechat：le9dbadb
