線性判別分析 Linear Discriminant Analysis
1 PCA(主成分分析)與LDA
PCA與LDA都是一種降維的方法。
PCA僅關注方差最大的方向,
LDA關注對類別有區分能力的信息。
例:分類下圖中的兩種數據。如果使用PCA,則會尋找數據投影到哪個方向上方差最大,最后都會投影到下方的坐標軸上。兩種數據的投影幾乎完全重疊,無法區分。因此需要尋找投影后區分效果最好的方向。
注:PCA筆記尚未完成。
PCAvsLDA
LDA:
- Fisher提出
- 引入樣本類別信息
- 目標:最大化類間方差和類內方差之比
2 算法
給定數據集,
分別表示
類示例的集合、均值向量、協方差矩陣。若將數據投影到直線
上,則兩類樣本中心在直線上的投影分別為
和
,兩類樣本的協方差分別為
和
。
由于是把二維上的線投影到一維,所以以上四個值均為實數。
要選投影后區分效果最好的方向,也就是要在投影后,讓同類的協方差盡可能小(同類的要更聚集),異類的均值之間的距離盡可能大(不同類的要盡量分開)。讓盡可能大的做分子,另一個做分母,可得需要最大化的目標:
-
中右下角的2指的是2范數。關于范數:
- https://zh-v2.d2l.ai/chapter_preliminaries/linear-algebra.html#id3中2.3.10
- https://ryannng.github.io/2016/12/23/%E5%90%91%E9%87%8F%E8%8C%83%E6%95%B0%E4%B8%8E%E7%9F%A9%E9%98%B5%E8%8C%83%E6%95%B0/
再定義類內散度矩陣
類間散度矩陣
,則
稱作“廣義瑞利商”
由于上下都有,故
的長度實際上并不影響式子的值,我們只需要考慮方向即可。又因為
都是定值,則可以令分母為1,轉化式子。
轉化
使用拉格朗日乘子法,可求出使
得到
實際中為了數值穩定性,常對進行奇異值分解來計算其逆。