數據預處理在眾多深度學習算法中都起著重要作用，實際上，對數據進行適當處理后，很多算法能夠發揮最佳效果。然而面對各種各樣的數據，很多時候我們不知道怎么樣才能針對性進行處理。本文介紹了Python下的機器學習工具scikit-learn。其中，“sklearn.preprocessing”模塊提供了幾種常見的函數和轉換類，把原始的特征向量變得更適合估計器使用。

一、標準化，即減去平均值再用方差調整

在scikit-learn中，數據的標準化是很多機器學習估計器的常見要求；如果單個特征看起來不符合標準正態分布（平均值為0，方差為1）的話，數據之后可能會有很差的表現。

實際上我們通常忽略分布的具體形態，數據轉換僅指: 減去每個特征的平均值，再除以他們的標準差。

例如，學習算法中目標函數的很多成分都假設，所有的特征都是圍繞著0的，并且擁有相同算數級別的方差（比如SVM中的RBF核，以及線性模型中的l1,l2正則化）。如果一個特征的方差級別高于其他的特征，它會在目標函數中占據主導地位，并使得估計器不能按照預期很好地從其他特征中學習。

scale函數就提供了一個快速且簡便的方法，對一個數組型數據執行這個操作：

調整后的數據平均值為0，方差為1：

preprocessing模塊還提供了一個類"StandardScaler"，它能計算訓練集的平均值和標準差，以便之后對測試集進行相同的轉換。因此，這個類適合用于sklearn.pipeline.Pipeline的前幾個步驟：

這個scaler之后能對新的數據進行，跟先前對訓練集一樣的操作：

此外，也可以通過在創建StandardScaler時增加with_mean=False或者with_std=False語句，來阻止集中化或縮放比例。

1、把特征縮放到一個范圍內

另一個標準化的操作，是把特征縮放到一個最小值與最大值之間（通常是0到1），或者是把每個特征的最大絕對值變到1。這分別可以通過MinMaxScaler或者MaxAbsScaler實現。

使用這種轉換方式是為了增加強健性，來解決特征的標準差非常小的問題，以及在稀疏數據中保留0元素。

以下是一個把數據矩陣縮放到[0,1]范圍內的一個例子：

相同的轉換器可以用到新的測試集上：相同的縮放、平移操作會與之前對訓練數據的操作保持一致：

我們也可以找出從訓練數據中學到的轉換的具體特性：

如果MinMaxScaler被給予一個明確的feature_range=(min,max)，完整的公式是：

MaxAbsScaler的功能很類似，但是它把訓練數據縮放到了[-1,1]范圍內。這對已經圍繞著0的數據或者稀疏數據來說是很有意義的。

這里用了這個scaler把之前例子的數據進行了轉換：

與scale一樣，這個模塊也提供了比較簡便的函數minmax_scale以及maxabs_scale，如果你不想創建一個對象。

2、轉換稀疏數據

把稀疏數據集中化會破壞數據中的稀疏性結構，因此不是一個理想的做法。但是，對稀疏的輸入轉換測度是有道理的，特別是當特征具有不同的測度的時候。

MaxAbsScaler以及maxabs_scale是特別為轉換稀疏數據設計的，并且我們建議使用他們。然而，scale和StandardScaler可以接受scipy.sparse矩陣作為輸入，只要在創建時說明with_mean=False。否則會產生ValueError，因為默認的集中化會破壞稀疏性，并且會分配過多的內存從而導致運行崩潰。RobustScaler不能用于稀疏輸入，但你可以對稀疏輸入使用transform方法。

注意，scalers同時接受Compressed Sparse Rows以及Compressed Sparse Columns形式。其他類型的稀疏輸入會被轉換為Compressed Sparse Rows的形式。為了避免不必要的內存復制，建議選擇CSR或者CSC的表達形式。

最后，如果集中化后的數據預期非常小，使用toarray方法把稀疏輸入轉換為數組是另一個選擇。

3、轉換具有異常值的數據

如果你的數據有很多異常值，使用平均值和方差來進行轉換可能表現不會很好。在這些情況下，你可以使用robust_scale以及RobustScaler。他們對數據的中心和范圍采用更健壯的估計。

參考資料：關于集中化和縮放比例重要性更多的討論：Should I normalize/standardize/resclae the data?