<font color=blue> 嶺回歸

</font> 　　嶺回歸和lasso解決回歸中重大疑難問題：排除多重共線性，進(jìn)行變量的選擇

最小二乘估計(jì)

在給定經(jīng)典線性回歸的假設(shè)下，最小二乘估計(jì)量是具有最小方差的線性無偏估計(jì)量（Gauss-Markov定理）
　　
線性回歸模型可以寫成：

經(jīng)典線性回歸假設(shè)

公式推導(dǎo)

Q(β)表示的是殘差平方和RSS

均方誤差準(zhǔn)則

普通最小二乘法帶來的問題：
　　當(dāng)自變量存在復(fù)共線性時(shí)，回歸系數(shù)估計(jì)的方差就很大，估計(jì)值就很不穩(wěn)定。

嶺回歸

思路：在原先β的最小二乘估計(jì)中，加入一個(gè)小擾動(dòng)λΙ，使原先無法求廣義逆的情況變成可以求其廣義逆，使得問題穩(wěn)定并得以求解。

小知識(shí)：嶺回歸使用了單位矩陣乘以常數(shù)λ，我們觀察其中的單位矩陣I,可以看到值1貫穿整個(gè)對(duì)角線，其余元素全是0.形象的，在0構(gòu)成的平面上有一條1組成的“嶺”，這就是嶺回歸中“嶺”的由來。

嶺回歸的極值求解函數(shù)為：

數(shù)學(xué)可以證明表達(dá)式(1)和表達(dá)式(2)等價(jià)

(2)

• (2) 中第二行是對(duì)第一行的一個(gè)約束項(xiàng)，也就是說所有系數(shù)β平方和<某個(gè)閾值t
• λ和t是一一對(duì)應(yīng)關(guān)系

嶺回歸的幾何解釋

下面以兩變量為例
沒有約束項(xiàng)時(shí)系數(shù)β1和β2已經(jīng)經(jīng)過標(biāo)準(zhǔn)化。殘差平方和RSS可以表示為β1和β2的一個(gè)二次函數(shù)，數(shù)學(xué)上可以用一個(gè)拋物面表示。

從β1β2平面理解，即為拋物面等高線在水平面的投影和圓的交點(diǎn)，如下圖所示

嶺回歸的性質(zhì)

5、當(dāng)嶺參數(shù)為0，得到最小二乘解。當(dāng)嶺參數(shù)λ趨向更大時(shí)，嶺回歸系數(shù)β估計(jì)趨向于0。

從貝葉斯角度來看：

嶺跡圖

嶺跡圖的橫坐標(biāo)為λ，縱坐標(biāo)為β(λ)。而β(λ)是一個(gè)向量，由β1(λ)、β2(λ)、...等很多分量組成，每一個(gè)分量都是λ的函數(shù)，將每一個(gè)分量分別用一條線。
　　當(dāng)不存在奇異性時(shí)，嶺跡應(yīng)是穩(wěn)定地逐漸趨向于0

嶺跡圖作用：

1）觀察λ最佳取值；
2）觀察變量是否有多重共線性；
　　可見，在λ很小時(shí)，通常各β系數(shù)取值較大；而如果λ=0，則跟普通意義的多元線性回歸的最小二乘解完全一樣；當(dāng)λ略有增大，則各β系數(shù)取值迅速減小，即從不穩(wěn)定趨于穩(wěn)定。
　　上圖類似喇叭形狀的嶺跡圖，一般都存在多重共線性。
　　λ的選擇：一般通過觀察，選取喇叭口附近的值，此時(shí)各β值已趨于穩(wěn)定，但總的RSS又不是很大。
　　選擇變量：刪除那些β取值一直趨于0的變量。

嶺參數(shù)的選擇

1）在嶺回歸中設(shè)計(jì)矩陣X已經(jīng)中心化和標(biāo)準(zhǔn)化了，這樣可以直接比較標(biāo)準(zhǔn)化嶺回歸系數(shù)癿大小。可以剔除掉標(biāo)準(zhǔn)化嶺回歸系數(shù)比較穩(wěn)定且絕對(duì)值很小癿自變量。
2）隨著λ的增加，回歸系數(shù)不穩(wěn)定，震動(dòng)趨于零的自變量也可以剔除。
3）如果依照上述去掉變量的原則，有若干個(gè)回歸系數(shù)不穩(wěn)定，究竟去掉幾個(gè)，去掉哪幾個(gè)，這幵無一般原則可循，這需根據(jù)去掉某個(gè)變量后重新進(jìn)行嶺回歸分析的效果來確定。

c就是{}中的內(nèi)容

嶺回歸缺陷

1.主要靠目測選擇嶺參數(shù)
2.計(jì)算嶺參數(shù)時(shí)，各種方法結(jié)果差異較大
所以一般認(rèn)為，嶺跡圖只能看多重共線性，卻很難做變量篩選。

嶺回歸實(shí)例練習(xí)

實(shí)例一：
　　空氣污染問題。Mcdonald和Schwing曾研究死亡率與空氣污染、氣候以及社會(huì)經(jīng)濟(jì)狀況等因素的關(guān)系。考慮了15個(gè)解釋變量，收集了60組樣本數(shù)據(jù)。
　　x1—Average annual precipitation in inches 平均年降雨量
　　x2—Average January temperature in degrees F 1月份平均氣溫
　　x3—Same for July 7月份平均氣溫
　　x4—Percent of 1960 SMSA population aged 65 or older
　　年齡65歲以上的人口占總?cè)丝诘陌俜直?br> 　　x5—Average household size 每家人口數(shù)
　　x6—Median school years completed by those over 22
　　　　年齡在22歲以上的人受教育年限的中位數(shù)
　　x7—Percent of housing units which are sound & with all
　　　　facilities住房符合標(biāo)準(zhǔn)的家庭比例數(shù)
　　x8—Population per sq. mile in urbanized areas, 1960 　　　
　　　　每平方公里人口數(shù)
　　x9—Percent non-white population in urbanized areas,
　　　　1960非白種人占總?cè)丝诘谋壤?br> 　　x10—Percent employed in white collar occupations 　　　　
　　　　白領(lǐng)階層人口比例
　　x11—Percent of families with income < $3000
　　 　　收入在3000美元以下的家庭比例
　　x12—Relative hydrocarbon pollution potential 　　　　
　　　　碳?xì)浠衔锏南鄬?duì)污染勢
　　x13— Same for nitric oxides 氮氧化合物的相對(duì)污染勢
　　x14—Same for sulphur dioxide 二氧化硫的相對(duì)污染勢
　　x15—Annual average % relative humidity at 1pm 年平均相對(duì)濕度
　　y—Total age-adjusted mortality rate per 100,000
　　　每十萬人中的死亡人數(shù)

實(shí)例二：