稀疏學習
帶約束的LS+交叉驗證組合是非常有效的回歸方法, 缺點是參數太多時求解耗時.
稀疏學習將大部分參數置0, 大大加速參數求解.
L1約束的LS
稀疏學習使用L1條件約束:
其中,
L1和L2對比:
image.png
以對于參數的線性模型為例對上圖做分析:
- 訓練誤差
是關于
的向下的二次凸函數, 因此
-
:橢圓等高線和圓周交點是L2約束LS的解
, 即
-Constrained Least Squares
-
:橢圓等高線和菱形的角的焦點是L1約束LS的解
, L1約束LS的解一定位于參數的軸上
L1CLS的解在參數軸上, 很容易用稀疏的方式求解.
L1約束的LS求解
image.png
利用拉格朗日對偶問題求解, 考慮L1正則化的最優化問題:
L1范數原點不能微分, 用微分的二次函數控制:
函數如圖:
image.png
L2正則化LS一般表達式:
image.png
線性模型
image.png
幾個解的函數圖像:
image.png
高斯核模型
image.png
分別用L1,L2約束求解:
image.png
求解結果:
image.png
結論: 結果無太大差異, 但L2約束的LS的50個參數全部非0; L1約束LS的50個參數, 有37個為0, 學習結果是是13個核函數的線性擬合.
Lp約束的LS
L1,L2范數的更廣義定義, 范數:
image.png
時稱最大值范數:
image.png
范數表示非零向量元素個數:
image.png
范數的單位球(R=1):
image.png
分析:
稀疏解存在的特殊條件:
如此, 只有范數滿足條件, L1約束的LS是非常特殊的學習方法
滿足范數約束條件的空間性質:
image.png
L1+L2約束的LS
約束的LS也稱為彈性網絡
先回顧兩個模型.
-
線性模型
image.png
是基函數向量, 基函數舉例:
image.png
-
核模型
image.png
高斯核函數:
image.png
回顧約束:
-
image.png
轉化為拉格朗日對偶問題:
image.png
不考慮參數空間圓的半徑R時化簡為:
image.png
-
約束:
image.png
轉化為拉格朗日對偶問題:
image.png
-
的參數空間:
image.png
L1約束的限制:
- 參數b比訓練樣本n多時, 線性模型可選擇的最大特征數被局限為n
- 線性模型中形成集群構造(有多個基函數相似的集合)時,
- 參數b比樣本n少時,
解決方案是:
image.png
范數單位球:
image.png
范數的單位球:
image.png
結論:
-
單位球凸, 角部呈尖形, 故和
- 可學得n個以上非零參數
- 基函數為集合構造時, 常以集合為單位對基函數選擇
- 比
