連續(xù)特征的離散化：在什么情況下將連續(xù)的特征離散化之后可以獲得更好的效果？

Q:CTR預(yù)估，發(fā)現(xiàn)CTR預(yù)估一般都是用LR，而且特征都是離散的。為什么一定要用離散特征呢？這樣做的好處在哪里？

A:

在工業(yè)界，很少直接將連續(xù)值作為邏輯回歸模型的特征輸入，而是將連續(xù)特征離散化為一系列0、1特征交給邏輯回歸模型，這樣做的優(yōu)勢(shì)有以下幾點(diǎn)：

0、 離散特征的增加和減少都很容易，易于模型的快速迭代。(離散特征的增加和減少，模型也不需要調(diào)整，重新訓(xùn)練是必須的，相比貝葉斯推斷方法或者樹模型方法迭代快)

1、稀疏向量?jī)?nèi)積乘法運(yùn)算速度快，計(jì)算結(jié)果方便存儲(chǔ)，容易擴(kuò)展；

2、離散化后的特征對(duì)異常數(shù)據(jù)有很強(qiáng)的魯棒性：比如一個(gè)特征是年齡>30是1，否則0。如果特征沒有離散化，一個(gè)異常數(shù)據(jù)“年齡300歲”會(huì)給模型造成很大的干擾；離散化后年齡300歲也只對(duì)應(yīng)于一個(gè)權(quán)重，如果訓(xùn)練數(shù)據(jù)中沒有出現(xiàn)特征"年齡-300歲"，那么在LR模型中，其權(quán)重對(duì)應(yīng)于0，所以，即使測(cè)試數(shù)據(jù)中出現(xiàn)特征"年齡-300歲",也不會(huì)對(duì)預(yù)測(cè)結(jié)果產(chǎn)生影響。特征離散化的過程，比如特征A，如果當(dāng)做連續(xù)特征使用，在LR模型中，A會(huì)對(duì)應(yīng)一個(gè)權(quán)重w,如果離散化，那么A就拓展為特征A-1，A-2，A-3...,每個(gè)特征對(duì)應(yīng)于一個(gè)權(quán)重，如果訓(xùn)練樣本中沒有出現(xiàn)特征A-4，那么訓(xùn)練的模型對(duì)于A-4就沒有權(quán)重，如果測(cè)試樣本中出現(xiàn)特征A-4,該特征A-4也不會(huì)起作用。相當(dāng)于無效。但是，如果使用連續(xù)特征，在LR模型中，y = w*a,a是特征，w是a對(duì)應(yīng)的權(quán)重,比如a代表年齡，那么a的取值范圍是[0..100]，如果測(cè)試樣本中,出現(xiàn)了一個(gè)測(cè)試用例，a的取值是300，顯然a是異常值，但是w*a還是有值，而且值還非常大，所以，異常值會(huì)對(duì)最后結(jié)果產(chǎn)生非常大的影響。

3、邏輯回歸屬于廣義線性模型，表達(dá)能力受限；單變量離散化為N個(gè)后，每個(gè)變量有單獨(dú)的權(quán)重，相當(dāng)于為模型引入了非線性，能夠提升模型表達(dá)能力，加大擬合；在LR模型中，特征A作為連續(xù)特征對(duì)應(yīng)的權(quán)重是Wa。A是線性特征，因?yàn)閥 = Wa*A,y對(duì)于A的導(dǎo)數(shù)就是Wa,如果離散化后，A按區(qū)間離散化為A_1,A_2,A_3。那么y = w_1*A_1+w_2*A_2+w_3*A_3.那么y對(duì)于A的函數(shù)就相當(dāng)于分段的線性函數(shù)，y對(duì)于A的導(dǎo)數(shù)也隨A的取值變動(dòng)，所以，相當(dāng)于引入了非線性。

4、 離散化后可以進(jìn)行特征交叉，加入特征A 離散化為M個(gè)值，特征B離散為N個(gè)值，那么交叉之后會(huì)有M*N個(gè)變量，進(jìn)一步引入非線性，提升表達(dá)能力；

5、特征離散化后，模型會(huì)更穩(wěn)定，比如如果對(duì)用戶年齡離散化，20-30作為一個(gè)區(qū)間，不會(huì)因?yàn)橐粋€(gè)用戶年齡長(zhǎng)了一歲就變成一個(gè)完全不同的人。當(dāng)然處于區(qū)間相鄰處的樣本會(huì)剛好相反，所以怎么劃分區(qū)間是門學(xué)問；按區(qū)間離散化，劃分區(qū)間是非常關(guān)鍵的。

6、特征離散化以后，起到了簡(jiǎn)化了邏輯回歸模型的作用，降低了模型過擬合的風(fēng)險(xiǎn)。(當(dāng)使用連續(xù)特征時(shí)，一個(gè)特征對(duì)應(yīng)于一個(gè)權(quán)重，那么，如果這個(gè)特征權(quán)重較大，模型就會(huì)很依賴于這個(gè)特征，這個(gè)特征的一個(gè)微小變化可能會(huì)導(dǎo)致最終結(jié)果產(chǎn)生很大的變化，這樣子的模型很危險(xiǎn)，當(dāng)遇到新樣本的時(shí)候很可能因?yàn)閷?duì)這個(gè)特征過分敏感而得到錯(cuò)誤的分類結(jié)果，也就是泛化能力差，容易過擬合。而使用離散特征的時(shí)候，一個(gè)特征變成了多個(gè)，權(quán)重也變?yōu)槎鄠€(gè)，那么之前連續(xù)特征對(duì)模型的影響力就被分散弱化了，從而降低了過擬合的風(fēng)險(xiǎn)。)

李沐曾經(jīng)說過：模型是使用離散特征還是連續(xù)特征，其實(shí)是一個(gè)“海量離散特征+簡(jiǎn)單模型” 同 “少量連續(xù)特征+復(fù)雜模型”的權(quán)衡。既可以離散化用線性模型，也可以用連續(xù)特征加深度學(xué)習(xí)。就看是喜歡折騰特征還是折騰模型了。通常來說，前者容易，而且可以n個(gè)人一起并行做，有成功經(jīng)驗(yàn)；后者目前看很贊，能走多遠(yuǎn)還須拭目以待。

http://www.zhihu.com/question/28641663/answer/41653367

機(jī)器學(xué)習(xí)中，有哪些特征選擇的工程方法？

特征選擇是特征工程中的重要問題（另一個(gè)重要的問題是特征提取），坊間常說：數(shù)據(jù)和特征決定了機(jī)器學(xué)習(xí)的上限，而模型和算法只是逼近這個(gè)上限而已。由此可見，特征工程尤其是特征選擇在機(jī)器學(xué)習(xí)中占有相當(dāng)重要的地位。機(jī)器學(xué)習(xí)做得好不好，被數(shù)據(jù)和模型共同影響，比如說，數(shù)據(jù)本身不可分，那么SVM等分類算法再牛逼，也不能完全正確分開。數(shù)據(jù)集本身是有內(nèi)在特性的，數(shù)據(jù)集本身的特征決定了機(jī)器學(xué)習(xí)的上限。所以，一個(gè)機(jī)器學(xué)習(xí)算法可能在數(shù)據(jù)集A上效果很好，但在數(shù)據(jù)集B上效果很差，這是很正常的現(xiàn)象，因?yàn)閿?shù)據(jù)集A和B的內(nèi)在特性不一樣。我以前學(xué)別人使用GBDT提取特征，別人使用GBDT提取特征，可以使分類效果提升，但是，我使用了GBDT提特征，并沒有使效果提升。因?yàn)閿?shù)據(jù)集特性不一樣。所以，數(shù)據(jù)集的特性決定了算法能達(dá)到效果的上限。

通常而言，特征選擇是指選擇獲得相應(yīng)模型和算法最好性能的特征集，工程上常用的方法有以下：

1.計(jì)算每一個(gè)特征與響應(yīng)變量的相關(guān)性：工程上常用的手段有計(jì)算皮爾遜系數(shù)和互信息系數(shù)，皮爾遜系數(shù)只能衡量線性相關(guān)性而互信息系數(shù)能夠很好地度量各種相關(guān)性，但是計(jì)算相對(duì)復(fù)雜一些，好在很多toolkit里邊都包含了這個(gè)工具（如sklearn的MINE），得到相關(guān)性之后就可以排序選擇特征了.(其實(shí)就是計(jì)算輸出關(guān)于輸入的導(dǎo)數(shù)，如果某個(gè)特征很大程度上影響了輸出，那么該特征就會(huì)比較重要)。

2. 構(gòu)建單個(gè)特征的模型，通過模型的準(zhǔn)確性為特征排序，借此來選擇特征，另外，記得JMLR'03上有一篇論文介紹了一種基于決策樹的特征選擇方法，本質(zhì)上是等價(jià)的。當(dāng)選擇到了目標(biāo)特征之后，再用來訓(xùn)練最終的模型；

3.?通過L1正則項(xiàng)來選擇特征：L1正則方法具有稀疏解的特性，因此天然具備特征選擇的特性，但是要注意，L1沒有選到的特征不代表不重要，原因是兩個(gè)具有高相關(guān)性的特征可能只保留了一個(gè)，如果要確定哪個(gè)特征重要應(yīng)再通過L2正則方法交叉檢驗(yàn)；

4. 訓(xùn)練能夠?qū)μ卣鞔蚍值念A(yù)選模型：RandomForest和Logistic Regression等都能對(duì)模型的特征打分，通過打分獲得相關(guān)性后再訓(xùn)練最終模型；

5. 通過特征組合后再來選擇特征：如對(duì)用戶id和用戶特征最組合來獲得較大的特征集再來選擇特征，這種做法在推薦系統(tǒng)和廣告系統(tǒng)中比較常見，這也是所謂億級(jí)甚至十億級(jí)特征的主要來源，原因是用戶數(shù)據(jù)比較稀疏，組合特征能夠同時(shí)兼顧全局模型和個(gè)性化模型，這個(gè)問題有機(jī)會(huì)可以展開講。

6. 通過深度學(xué)習(xí)來進(jìn)行特征選擇：目前這種手段正在隨著深度學(xué)習(xí)的流行而成為一種手段，尤其是在計(jì)算機(jī)視覺領(lǐng)域，原因是深度學(xué)習(xí)具有自動(dòng)學(xué)習(xí)特征的能力，這也是深度學(xué)習(xí)又叫unsupervisedfeature learning的原因。從深度學(xué)習(xí)模型中選擇某一神經(jīng)層的特征后就可以用來進(jìn)行最終目標(biāo)模型的訓(xùn)練了。

http://www.zhihu.com/question/34271604

在廣告LR模型中，為什么要做特征組合？

在業(yè)界，LR模型之所以很受歡迎，主要是因?yàn)長(zhǎng)R模型本質(zhì)是對(duì)數(shù)線性模型，實(shí)現(xiàn)簡(jiǎn)單，易于并行，大規(guī)模擴(kuò)展方便，迭代速度快，同時(shí)使用的特征比較好解釋，預(yù)測(cè)輸出在0與1之間契合概率模型。（模型的可解釋性舉例，比如A-B的權(quán)重比較大，A代表用戶，B代表物品，那么可以認(rèn)為A是對(duì)B比較感興趣的）但是，線性模型對(duì)于非線性關(guān)系缺乏準(zhǔn)確刻畫，特征組合正好可以加入非線性表達(dá)，增強(qiáng)模型的表達(dá)能力。另外，廣告LR中，基本特征可以認(rèn)為是用于全局建模，組合特征更加精細(xì)，是個(gè)性化建模，因?yàn)樵谶@種大規(guī)模離散LR中，單對(duì)全局建模會(huì)對(duì)部分用戶有偏，對(duì)每一用戶建模又?jǐn)?shù)據(jù)不足易過擬合同時(shí)帶來模型數(shù)量爆炸，所以基本特征+組合特征兼顧了全局和個(gè)性化。比如特征向量中，有用戶A，B，C，物品E,F,G。基本的特征A,B.C.E.F.G對(duì)應(yīng)的權(quán)重，對(duì)應(yīng)的是每個(gè)對(duì)象的偏置權(quán)重，但如果A偏好E,B偏好F，那么組合特征A-E,B-F就是對(duì)用戶的個(gè)性進(jìn)行建模，組合特征A-E,B-F的權(quán)重就是代表A對(duì)E的喜好，和B-F的喜好。