傳統機器學習和深度學習

摘自:人工智能標準化白皮書(2018版)

傳統機器學習

傳統機器學習從一些觀測(訓練)樣本出發,試圖發現不能通過原理分析獲得的規律,實現對未來數據行為或趨勢的準確預測。
相關算法包括:

  • 邏輯回歸
  • 隱馬爾科夫方法
  • 支持向量機方法
  • K 近鄰方法
  • 三層人工神經網絡方法
  • Adaboost算法
  • 貝葉斯方法
  • 決策樹方法 等

傳統機器學習平衡了學習結果的有效性與學習模型的可解釋性,為解決有限樣本的學習問題提供了一種框架,主要用于有限樣本情況下的模式分類、回歸分析、概率密度估計等。
傳統機器學習方法共同的重要理論基礎之一是統計學,在自然語言處理、語音識別、圖像識別、信息檢索和生物信息等許多計算機領域獲得了廣泛應用。

深度學習

深度學習是建立深層結構模型的學習方法。
典型的深度學習算法包括:

  • 深度置信網絡 DBN,Deep Belief Nets
  • 卷積神經網絡 CNN,Convolutional Neural Network
  • 受限玻爾茲曼機 RBM,Restricted Boltzmann Machine
  • 循環神經網絡 RNN,recurrent neural network

深度學習又稱為深度神經網絡(指層數超過3 層的神經網絡)。
深度學習作為機器學習研究中的一個新興領域,由Hinton 等人于2006 年提出。
深度學習源于多層神經網絡,其實質是給出了一種將特征表示和學習合二為一的方式。
深度學習的特點是放棄了可解釋性,單純追求學習的有效性。經過多年的摸索嘗試和研究,已經產生了諸多深度神經網絡的模型,其中卷積神經網絡、循環神經網絡是兩類典型的模型。卷積神經網絡常被應用于空間性分布數據;循環神經網絡在神經網絡中引入了記憶和反饋,常被應用于時間性分布數據。深度學習框架是進行深度學習的基礎底層框架,一般包含主流的神經網絡算法模型,提供穩定的深度學習API,支持訓練模型在服務器和GPU、TPU 間的分布式學習,部分框架還具備在包括移動設備、云平臺在內的多種平臺上運行的移植能力,從而為深度學習算法帶來前所未有的運行速度和實用性。

目前主流的開源算法框架有

TensorFlow、Caffe/Caffe2、CNTK、MXNet、Paddle-paddle、Torch/PyTorch、Theano 等。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。