數(shù)據(jù)和特征決定了機(jī)器學(xué)習(xí)的上限，而模型和算法只是不斷地逼近這個上限。
特征工程.png
往往拿到的數(shù)據(jù)會有以下問題：
- 量綱不統(tǒng)一
- 定性特征不能直接拿來使用，需要轉(zhuǎn)換
- 缺失值
- 信息利用率低
無量綱化：無量綱化使不同規(guī)格的數(shù)據(jù)轉(zhuǎn)換到同一規(guī)格，常見的方法有標(biāo)準(zhǔn)化和區(qū)間縮放法。標(biāo)準(zhǔn)化的前提是特征值符從正態(tài)分布，標(biāo)準(zhǔn)化后，將其轉(zhuǎn)換成標(biāo)準(zhǔn)正態(tài)分布。區(qū)間縮放則利用了邊界值信息，將特征的值域縮放到特定的范圍(比如[0,1])。
標(biāo)準(zhǔn)化：公式如下
![]()
均值和方差
區(qū)間縮放：
![]()
標(biāo)準(zhǔn)化和歸一化的區(qū)別(參考知乎答案)：
歸一化方法：
- 把數(shù)變?yōu)椋?，1）之間的小數(shù)主要是為了數(shù)據(jù)處理方便提出來的，把數(shù)據(jù)映射到0～1范圍之內(nèi)處理，更加便捷快速。
- 把有量綱表達(dá)式變?yōu)闊o量綱表達(dá)式 歸一化是一種簡化計(jì)算的方式，即將有量綱的表達(dá)式，經(jīng)過變換，化為無量綱的表達(dá)式，成為純量。
標(biāo)準(zhǔn)化方法: - 數(shù)據(jù)的標(biāo)準(zhǔn)化是將數(shù)據(jù)按比例縮放，使之落入一個小的特定區(qū)間。由于信用指標(biāo)體系的各個指標(biāo)度量單位是不同的，為了能夠?qū)⒅笜?biāo)參與評價計(jì)算，需要對指標(biāo)進(jìn)行規(guī)范化處理，通過函數(shù)變換將其數(shù)值映射到某個數(shù)值區(qū)間。
對定量特征二值化:
定量特征二值化的核心在于設(shè)定一個閾值，大于閾值的賦值為1，小于等于閾值的賦值為0，公式表達(dá)如下：
對定性特征壓扁嗎: One-hot 編碼
缺失值計(jì)算: 比如通過其他特征作為輸入，缺失特征作為輸出。通過隨機(jī)森林預(yù)測缺失特征的缺失值。
數(shù)據(jù)變換：基于多項(xiàng)式，基于指數(shù)函數(shù)，基于對數(shù)函數(shù)等。
特征選擇
當(dāng)數(shù)據(jù)預(yù)處理完成后，我們需要選擇有意義的特征輸入機(jī)器學(xué)習(xí)的算法和模型進(jìn)行訓(xùn)練。通常來說，從兩個方面考慮來選擇特征：
- 特征是否發(fā)散：如果一個特征不發(fā)散，例如方差接近于0，也就是說樣本在這個特征上基本上沒有差異，這個特征對于樣本的區(qū)分并沒有什么用。
- 特征與目標(biāo)的相關(guān)性：這點(diǎn)比較顯見，與目標(biāo)相關(guān)性高的特征，應(yīng)當(dāng)優(yōu)選選擇。除方差法外，本文介紹的其他方法均從相關(guān)性考慮。
根據(jù)特征選擇的形式又可以將特征選擇方法分為3種：
- Filter：過濾法，按照發(fā)散性或者相關(guān)性對各個特征進(jìn)行評分，設(shè)定閾值或者待選擇閾值的個數(shù)，選擇特征。
- Wrapper：包裝法，根據(jù)目標(biāo)函數(shù)（通常是預(yù)測效果評分），每次選擇若干特征，或者排除若干特征。
- Embedded：集成法，先使用某些機(jī)器學(xué)習(xí)的算法和模型進(jìn)行訓(xùn)練，得到各個特征的權(quán)值系數(shù)，根據(jù)系數(shù)從大到小選擇特征。類似于Filter方法，但是是通過訓(xùn)練來確定特征的優(yōu)劣。（比如隨機(jī)森林）
| Filter | Embedded | Wrapper |
|---|---|---|
| 方差選擇法 | 基于懲罰項(xiàng)的特征選擇法 | 遞歸特征消除法 |
| 相關(guān)系數(shù)法 | 基于樹模型的特征選擇法 | |
| 卡方檢驗(yàn) | ||
| 互信息法 |
降維
- PCA 主成分分析
- LDA 線性判別分析法
