注：暑課聽得云里霧里稀里嘩啦，簡單結合別人博客總結一下一些最基本的模式識別相關技術。為什么簡書和Typora不是完美銜接的...好多亂碼...摔。

Introduction of PR Approaches

• 統計模式識別——找得到特征并進行描述

  • 特征提取

    • 線性特征提取
      • PCA
      • 2d PCA
      • LDA
    • 濾波
      • Fourier Transform
      • Garbor Filter

• 句法模式識別——存在具有聯系的各種結構

• 神經網絡模式識別——結構特征均復雜

  • ANN

ANN (Artificial Neural Networks)

• Back Propagation

  1. 利用初始權量，在輸入向量上運行前向傳播，從而得到所有網絡所有神經元的輸出。
  2. 由此，每個輸出層神經元得到一個誤差，即輸出值與實際值之差。
  3. 計算作為神經元權量的函數的誤差的梯度，然后根據誤差降低最快的方向調整權量。
  4. 將這些輸出誤差反向傳播給隱藏層以便計算相應誤差。
  5. 計算這些誤差的梯度，并利用同樣的方式調整隱藏層的權量。

  不斷迭代，直到網絡收斂。 實際上，度量一個神經網絡好不好，也是主要看是否收斂和收斂的速度。

PCA (Principal Component Analysis)

• 步驟 （對m條n維數據降到指定k維）
  1. 將原始數據按列組成一個$m*n$矩陣X；
  2. 將X的每一行（代表一個屬性字段（feature））進行0均值化（減去均值）；
  3. 求出協方差矩陣C，$C=\frac{1}{m}XX^\mathsf{T}$
  4. 求出C的特征值及對應的特征向量；
  5. 將特征向量按對應特征值大小從上到下按行排列成矩陣，取前k行組成矩陣P；
  6. Y=PX即為降維到k維后的數據；
• 解釋
  1. 設我們有m個n維數據記錄，將其按列排成$m*n$的矩陣X，設$C=\frac{1}{m}XX^\mathsf{T}$，則C是一個對稱矩陣，其對角線分別個各個字段的方差，而第i散布矩陣是用來估計多維正態分布協方差的統計量行j列和j行i列元素相同，表示i和j兩個字段的協方差（協方差表示字段間的獨立性，協方差為0時字段完全獨立）。
  2. 第四步即對角化C，這是為了使各字段兩兩間協方差為0，而字段的方差則盡可能大。
  3. PCA相當于說把訓練數據各個類之間相關度高的篩除。這是通過尋找合適的坐標軸表達實現的。
• 分析
  1. PCA本質上是將方差最大的方向作為主要特征，并且在各個正交方向上將數據“離相關”，也就是讓它們在不同正交方向上沒有相關性。
  2. PCA也存在一些限制，例如它可以很好的解除線性相關，但是對于高階相關性就沒有辦法了，對于存在高階相關性的數據，可以考慮Kernel PCA，通過Kernel函數將非線性相關轉為線性相關，關于這點就不展開討論了。另外，PCA假設數據各主特征是分布在正交方向上，如果在非正交方向上存在幾個方差較大的方向，PCA的效果就大打折扣了。
  3. 其主成分分析的訓練是非監督的，無法利用訓練樣本的類別信息。且識別率不是很高，維數基本比較大，計算量大。

2D PCA

• 優勢
  1. 直接計算訓練樣本的協方差矩陣；
  2. 計算特征值與特征向量的用時更少（因為協方差矩陣更小）；
• 與PCA之對比
  1. 使用原始圖像數據，協方差矩陣規模小，計算特征值和特征向量對應地更為簡單。
  2. 保留了原始圖像鄰域之間的內在聯系，使得準確度得以提高；

LDA (Linear Discrimination Analysis)

• 步驟

  1. 計算散布矩陣$S_w$和類內散布矩陣$S_b$；
  2. 第二步，計算$S_w^{-1}S_b$的特征值及特征向量，從而實現LDA轉換；

• 解釋

  ? LDA主要是把訓練數據投射到另一個空間上，使其同類間緊湊，不同類之間分得開。

  
  
  LDA示意圖

• 優勢

  1. 對于區分度高的特征提取有良好效果；
  2. 可降維；

• 限制

  1. LDA至多可生成C-1維子空間；
  2. LDA不適合對非高斯分布的樣本進行降維；
  3. LDA在樣本分類信息依賴方差而不是均值時，效果不好；
  4. LDA可能過度擬合數據。

2d Fourier Transform

op1=>operation: Spacial Domain f(x,y)
op2=>operation: Frequency Domain F(u,v)
op1->op2

• 概述

  利用傅里葉變換，得到頻譜圖；頻譜圖選定范圍進行傅里葉逆變換，得到原圖像的相應處理圖（保持灰度）。根據頻譜圖，可以提取圖像特征。

Gabor Filter

• 概述

  在圖像處理中，Gabor函數是一個用于邊緣提取的線性濾波器。Gabor濾波器的頻率和方向表達同人類視覺系統類似。研究發現，Gabor濾波器十分適合紋理表達和分離。在空間域中，一個二維Gabor濾波器是一個由正弦平面波調制的高斯核函數。

  在實際應用時，可以根據檢測對象的方向趨勢，選擇合適的方向參數進行濾波。如在檢測人臉的五官時，可以根據人臉的偏轉角度進行濾波，可以使特征點的定位更加準確。