大師兄的應(yīng)用回歸分析學(xué)習(xí)筆記（十九）：嶺回歸（一）
大師兄的應(yīng)用回歸分析學(xué)習(xí)筆記（二十一）：嶺回歸（三）
四、嶺參數(shù)k的選擇
- 目的是選擇使
達(dá)到最小的k，最優(yōu)k值依賴于未知參數(shù)
和
，因而在實(shí)際應(yīng)用中必須通過(guò)樣本來(lái)確定。
- 究竟如何確定k值，在理論上尚未得到令人滿意的答案。
- 問(wèn)題的關(guān)鍵是最優(yōu)k值對(duì)
- 但這個(gè)問(wèn)題在應(yīng)用上又特別重要，因此有不少統(tǒng)計(jì)學(xué)者進(jìn)行相應(yīng)的研究。近十年來(lái)相繼提出了許多確定k值的原則和方法，這些方法一般都基于直觀考慮，有些通過(guò)計(jì)算機(jī)模擬實(shí)驗(yàn)，具有一定的應(yīng)用價(jià)值，但目前尚未找到一種工人的最優(yōu)方法。
1. 嶺跡法
- 嶺跡法的直管考慮是，如果最小二乘估計(jì)看起來(lái)有不合理之處，如估計(jì)值以及正負(fù)號(hào)不符合經(jīng)濟(jì)意義，則希望能通過(guò)采用適當(dāng)?shù)膸X估計(jì)
來(lái)獲得一定程度的改善，嶺參數(shù)k值的選擇就顯得尤為重要。
- 選擇k值的一般原則是：
- 各回歸系數(shù)的嶺估計(jì)基本穩(wěn)定。
- 用最小二乘估計(jì)的符號(hào)不合理的回歸系數(shù)，其嶺估計(jì)的符號(hào)變得合理。
- 回歸系數(shù)沒(méi)有不合乎經(jīng)濟(jì)意義的絕對(duì)值。
- 殘差平方和增加的不太多
- 如圖，當(dāng)k取
時(shí)，各回歸系數(shù)的估計(jì)值基本上都能相對(duì)穩(wěn)定。
- 嶺跡法確定k值缺少嚴(yán)格的令人信服的理論依據(jù)，存在一定的主觀性。
2. 方差擴(kuò)大因子法
- 方差擴(kuò)大因子
可以度量多重共線性的嚴(yán)重程度，一般當(dāng)
時(shí)，模型就有嚴(yán)重的多重共線性。
- 計(jì)算嶺估計(jì)
- 其中
，其對(duì)角元素
為嶺估計(jì)的方差擴(kuò)大因子。
- 可以看出
隨著k的增大而減少。
- 應(yīng)用方差擴(kuò)大因子法選擇k的經(jīng)驗(yàn)做法是：
- 選擇k使所有方差擴(kuò)大因子c\leq 10$
- 當(dāng)
時(shí)，所對(duì)應(yīng)的k值的嶺估計(jì)
3. 由殘差平方和確定k值
- 嶺估計(jì)
的增加幅度控制在一定的限度以內(nèi)，從而可以給一個(gè)大于1的c值：
- 要求
%3CcSSE)
