機器學習

機器學習是一門多領域交叉學科，涉及概率論、統計學、逼近論、凸分析、算法復雜度理論等多門學科。專門研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的性能。
它是人工智能的核心，是使計算機具有智能的根本途徑。

學習策略的分類

模擬人腦

一、符號學習：

模擬人腦的宏現心理級學習過程，以認知心理學原理為基礎，以符號數據為輸入，以符號運算為方法，用推理過程在圖或狀態空間中搜索，學習的目標為概念或規則等。符號學習的典型方法有記憶學習、示例學習、演繹學習.類比學習、解釋學習等。

二、神經網絡學習(或連接學習)：

模擬人腦的微觀生理級學習過程，以腦和神經科學原理為基礎，以人工神經網絡為函數結構模型，以數值數據為輸人，以數值運算為方法，用迭代過程在系數向量空間中搜索，學習的目標為函數。典型的連接學習有權值修正學習、拓撲結構學習。

數學方法

統計機器學習是基于對數據的初步認識以及學習目的的分析，選擇合適的數學模型，擬定超參數，并輸入樣本數據，依據一定的策略，運用合適的學習算法對模型進行訓練，最后運用訓練好的模型對數據進行分析預測。

統計機器學習三個要素：

一、模型(model)：

模型在未進行訓練前，其可能的參數是多個甚至無窮的，故可能的模型也是多個甚至無窮的，這些模型構成的集合就是假設空間。

二、策略(strategy)：

即從假設空間中挑選出參數最優的模型的準則。模型的分類或預測結果與實際情況的誤差(損失函數)越小，模型就越好。那么策略就是誤差最小。

三、算法(algorithm)：

即從假設空間中挑選模型的方法(等同于求解最佳的模型參數)。機器學習的參數求解通常都會轉化為最優化問題，故學習算法通常是最優化算法，例如最速梯度下降法、牛頓法以及擬牛頓法等。

基于學習方法的分類

(1) 歸納學習

符號歸納學習：典型的符號歸納學習有示例學習、決策樹學習。

函數歸納學習(發現學習)：典型的函數歸納學習有神經網絡學習、示例學習、發現學習、統計學習。

(2) 演繹學習

(3) 類比學習：典型的類比學習有案例(范例)學習。

(4) 分析學習：典型的分析學習有解釋學習、宏操作學習。?

基于學習方式的分類

(1) 監督學習(有導師學習)：輸入數據中有導師信號，以概率函數、代數函數或人工神經網絡為基函數模型，采用迭代計算方法，學習結果為函數。?

(2) 無監督學習(無導師學習)：輸入數據中無導師信號，采用聚類方法，學習結果為類別。典型的無導師學習有發現學習、聚類、競爭學習等。?

(3) 強化學習(增強學習)：以環境反慣(獎/懲信號)作為輸人，以統計和動態規劃技術為指導的一種學習方法。?

基于數據形式的分類

(1) 結構化學習：以結構化數據為輸人，以數值計算或符號推演為方法。典型的結構化學習有神經網絡學習、統計學習、決策樹學習、規則學習。?

(2) 非結構化學習：以非結構化數據為輸人，典型的非結構化學習有類比學習案例學習、解釋學習、文本挖掘、圖像挖掘、Web挖掘等。?

基于學習目標的分類

(1) 概念學習：學習的目標和結果為概念，或者說是為了獲得概念的學習。典型的概念學習主要有示例學習。

(2) 規則學習：學習的目標和結果為規則，或者為了獲得規則的學習。典型規則學習主要有決策樹學習。

(3) 函數學習：學習的目標和結果為函數，或者說是為了獲得函數的學習。典型函數學習主要有神經網絡學習。?

(4) 類別學習：學習的目標和結果為對象類，或者說是為了獲得類別的學習。典型類別學習主要有聚類分析。

(5) 貝葉斯網絡學習：學習的目標和結果是貝葉斯網絡，或者說是為了獲得貝葉斯網絡的一種學習。其又可分為結構學習和多數學習。?