線性判別分析 Linear Discriminant Analysis

1 PCA（主成分分析）與LDA

PCA與LDA都是一種降維的方法。
PCA僅關注方差最大的方向，
LDA關注對類別有區分能力的信息。

例：分類下圖中的兩種數據。如果使用PCA，則會尋找數據投影到哪個方向上方差最大，最后都會投影到下方的坐標軸上。兩種數據的投影幾乎完全重疊，無法區分。因此需要尋找投影后區分效果最好的方向。
注：PCA筆記尚未完成。

PCAvsLDA

LDA：

Fisher提出
引入樣本類別信息
目標：最大化類間方差和類內方差之比

2 算法

給定數據集 $D= \left \{ (\boldsymbol{x_i}, y_i ) \right \} _{i=1}^m, y_i \in \left \{ 0,1 \right \}$ ，
$X_i, \mu_i, \varSigma_i$ 分別表示 $i \in \left \{ 0,1 \right \}$ 類示例的集合、均值向量、協方差矩陣。若將數據投影到直線 $w$ 上，則兩類樣本中心在直線上的投影分別為 $w^T\mu_0$ 和 $w^T\mu_1$ ，兩類樣本的協方差分別為 $w^T\varSigma_0w$ 和 $w^T\varSigma_1w$ 。
由于是把二維上的線投影到一維，所以以上四個值均為實數。

要選投影后區分效果最好的方向，也就是要在投影后，讓同類的協方差盡可能小（同類的要更聚集），異類的均值之間的距離盡可能大（不同類的要盡量分開）。讓盡可能大的做分子，另一個做分母，可得需要最大化的目標：
$\begin{align*} J &= \frac {||w^T\mu_0-w^T\mu_1||_2^2}{w^T\varSigma_0w+w^T\varSigma_1w} \\ &= \frac {w^T(\mu_0-\mu_1)(\mu_0-\mu_1)^Tw}{w^T(\varSigma_0+\varSigma_1)w} \end{align*}$