傳統機器學習
傳統機器學習從一些觀測(訓練)樣本出發,試圖發現不能通過原理分析獲得的規律,實現對未來數據行為或趨勢的準確預測。
相關算法包括:
- 邏輯回歸
- 隱馬爾科夫方法
- 支持向量機方法
- K 近鄰方法
- 三層人工神經網絡方法
- Adaboost算法
- 貝葉斯方法
- 決策樹方法 等
傳統機器學習平衡了學習結果的有效性與學習模型的可解釋性,為解決有限樣本的學習問題提供了一種框架,主要用于有限樣本情況下的模式分類、回歸分析、概率密度估計等。
傳統機器學習方法共同的重要理論基礎之一是統計學,在自然語言處理、語音識別、圖像識別、信息檢索和生物信息等許多計算機領域獲得了廣泛應用。
深度學習
深度學習是建立深層結構模型的學習方法。
典型的深度學習算法包括:
- 深度置信網絡 DBN,Deep Belief Nets
- 卷積神經網絡 CNN,Convolutional Neural Network
- 受限玻爾茲曼機 RBM,Restricted Boltzmann Machine
- 循環神經網絡 RNN,recurrent neural network
深度學習又稱為深度神經網絡(指層數超過3 層的神經網絡)。
深度學習作為機器學習研究中的一個新興領域,由Hinton 等人于2006 年提出。
深度學習源于多層神經網絡,其實質是給出了一種將特征表示和學習合二為一的方式。
深度學習的特點是放棄了可解釋性,單純追求學習的有效性。經過多年的摸索嘗試和研究,已經產生了諸多深度神經網絡的模型,其中卷積神經網絡、循環神經網絡是兩類典型的模型。卷積神經網絡常被應用于空間性分布數據;循環神經網絡在神經網絡中引入了記憶和反饋,常被應用于時間性分布數據。深度學習框架是進行深度學習的基礎底層框架,一般包含主流的神經網絡算法模型,提供穩定的深度學習API,支持訓練模型在服務器和GPU、TPU 間的分布式學習,部分框架還具備在包括移動設備、云平臺在內的多種平臺上運行的移植能力,從而為深度學習算法帶來前所未有的運行速度和實用性。
目前主流的開源算法框架有
TensorFlow、Caffe/Caffe2、CNTK、MXNet、Paddle-paddle、Torch/PyTorch、Theano 等。