目錄
1. 前言
2. 數據字典
3. 優雅使用pandas
3.1 讀取數據
3.2 索引與選取
3.3 布爾索引
3.4 去重
3.5 分組
3.6 數據框的合并
（1）橫向合并
（2）縱向合并
3.7 排序（ORDER ）與替換（REPALCE）
4. 衍生變量與數據編碼
4.1 apply函數
4.2 map函數
5. 數據描述
6. 數據質量
6.1 缺失值
6.2 異常
7. 數據分箱（離散化）
1、前言
數據挖掘的關鍵在于數據的處理，業間有句話大概就是說模型的特征決定了該模型上限，而參數只是不斷接近這個上限而已。還有一句話“機器學習就像中藥，而調參就是神農嘗百草”，說明調參只是在無數可能性中找出最優（最合適）的一組參數值，不同問題有不同的最優參數，當然我們在考慮最優參數的同時仍要考慮時間成本，也不能說針對某個問題做個模型花了幾個月，到那時候可能用戶情況又變化了，所以最好的模型就是快狠準。該系列主要記錄如何用python的pandas做數據預處理的一些技巧，包括數據質量檢查與清洗（缺失與異常值）、數據探索等方面內容。
2、數據字典
|變量 | 定義| 說明|
| :-------------: |:-------------:| : -----:|
|survival | 是否幸存 | 0 = No, 1 = Yes |
|pclass| 船艙等級| 1 = 1st, 2 = 2nd, 3 = 3rd |
|sex | 性別| |
|Age | 年齡| |
|sibsp| 有多少兄弟姐妹一起乘船 | |
|parch|有 多少父母與兒子一起乘船 | |
|ticket| 船票編號| |
|fare | 船票價格| |
|cabin| 艙數量| |
|embarked| 上船地點| C = Cherbourg, Q = Queenstown, S = Southampton|
注：基礎數據為：kaggle案例——泰坦尼克號。
3、優雅使用pandas
3.1 讀取數據
import pandas as pd
df_titanic = pd.read_csv('C:/Users/whenif/Desktop/titanic_train.csv')
3.2 索引與選取
類似SQL的SELECT語句，主要包括以下函數調用：
- loc——通過行標簽索引行數據
- iloc——通過行號獲取行數據
- ix——結合前兩種的混合索引
import copy
df_titanic_tmp = copy.deepcopy(df_titanic.iloc[0:5])#選取前五列作為實驗
df_titanic_tmp.index = ['a','b','c','d','e']#修改索引名
df_titanic_tmp.columns
df_titanic_tmp.rename(columns={'PassengerId': 'haha'}, inplace=True)#修改列名名
根據行與列的可能情況做組合，一般的選取有以下四種情況。
#選取某一行所有列
df_titanic_tmp.loc['a']
df_titanic_tmp.iloc[1]
df_titanic_tmp.ix['a']
df_titanic_tmp.ix[1]
#選取某一列所有行
df_titanic_tmp['Survived']
df_titanic_tmp[['Survived','Pclass']]
df_titanic_tmp.loc[:,['Survived']]
df_titanic_tmp.iloc[:,1]
df_titanic_tmp.ix[:,['Survived']]
df_titanic_tmp.ix[:,1]
#選取某一行所有列
df_titanic_tmp.loc['a',:]
df_titanic_tmp.iloc[0,:]
df_titanic_tmp.ix['a',:]
df_titanic_tmp.ix[0,:]
#選取某些列某些行
df_titanic_tmp.loc['a':'c','Survived':'Name']
df_titanic_tmp.iloc[0:2,1:3]
df_titanic_tmp.ix['a':'c','Survived':'Name']
df_titanic_tmp.ix[0:2,1:3]
3.3 布爾索引
類似SQL中的WHERE語句。
實現：基于某些列的條件篩選另一列的值，你會怎么做？
#AND(&)
df_titanic_tmp.loc[(df_titanic_tmp['Survived']==1)
& (df_titanic_tmp['Pclass']>=2)
, ['Survived','Pclass','Name']]
#OR(|)
df_titanic_tmp.loc[(df_titanic_tmp['Survived']==1)
| (df_titanic_tmp['Pclass']>=2)
, ['Survived','Pclass','Name']]
#IN(isin)/NOT(-)
df_titanic_tmp.loc[-((df_titanic_tmp['Pclass'].isin([1,2])))
, ['Survived','Pclass','Name']]
#包含字符串
df_titanic_tmp.loc[(df_titanic_tmp.Name.str.contains('Miss'))
, ['Survived','Pclass','Name']]
#取篩選后第一行數據（TOP 1）
df_titanic_tmp.loc[(df_titanic_tmp.Name.str.contains('Miss'))
, ['Survived','Pclass','Name']].values[0]
3.4 去重
df_titanic_tmp.drop_duplicates(subset=['Survived'], keep='first', inplace=False).iloc[:,1]
- subset：為選定的列做distinct，默認為所有列；
- keep：值選項{'first', 'last', False}，保留重復元素中的第一個、最后一個，或全部刪除；
- inplace：默認為False，返回一個新的dataframe；若為True，則返回去重后的原dataframe。
3.5 分組
類似SQL中的GROUP函數。
import numpy as np
df_titanic_tmp.groupby('Survived').size()
df_titanic_tmp.groupby('Survived').count()
df_titanic_tmp.groupby('Survived').agg({'Sex': np.sum})
df_titanic_tmp.groupby('Survived').agg({'Sex': np.max})
df_titanic_tmp.groupby('Survived').agg({'Sex': pd.Series.nunique})
3.6 數據框的合并
類似于SQL中的JOIN模式，可實現左連接、右連接、內連接、全連接等。
（1）橫向合并
df_titanic_tmp1 = copy.deepcopy(df_titanic_tmp)
df_titanic_tmp1.rename(columns={'Name': 'Name1'}, inplace=True)
pd.merge(df_titanic_tmp, df_titanic_tmp1, how='left', left_on='Name', right_on='Name1')
（2）縱向合并
pd.concat([df_titanic_tmp,df_titanic_tmp1])
3.7 排序（ORDER ）與替換（REPALCE）
df_titanic_tmp.sort_values(['Survived', 'Pclass'], ascending=[False, True])
df_titanic_tmp['Survived'].replace(to_replace=3, value=33, inplace=True)
df_titanic_tmp.replace({'Survived': {3: 33, 4: 44}}, inplace=True)
4、衍生變量與數據編碼
4.1 apply函數
df_titanic['Fare2'] = df_titanic['Fare'].apply(
lambda x: 0 if x <= 0 else x)
def each_len(x):
return len(x)
print(df_titanic.apply(each_len, axis=0))#axis=0代表函數應用于每一列
4.2 map函數
#女生用1，男生用2表示
sex_mapping = {
'female': 1,
'male': 2
}
df_titanic['Sex'] = df_titanic['Sex'].map(sex_mapping)
5、數據描述
train_data = df_titanic.iloc[:,[1,2,4,5,6,7,9,11]]
import numpy as np
data_explore = train_data.describe().T
data_explore['null'] = len(train_data)-data_explore['count']#describe自動計算非空值數量
6、數據質量
6.1 缺失值
#直接刪除
train_data.dropna()#默認情況下，dropna會刪除任何含有缺失值的行
train_data.dropna(how='all') #只刪除所有行為缺失值的觀測
#用0填補所有缺失值
train_data.fillna(0)
#采用前項填充或后向填充
train_data.fillna(method='ffill') #前一個觀察值填充
train_data.fillna(method='bfill') #前一個觀察值填充
#使用常量填充不同的列或#用均值或中位數填充各自的列
train_data.fillna({'Age':int(train_data['Age'].mean()),'Embarked':3},inplace=True)
6.2 異常值
def binning(col, cut_points, labels=None):
minval = col.min()
maxval = col.max()
#利用最大值和最小值創建分箱點的列表
break_points = [minval] + cut_points + [maxval]
#如果沒有標簽，則使用默認標簽0 ... (n-1)
if not labels:
labels = range(len(cut_points)+1)
#使用pandas的cut功能分箱
colBin = pd.cut(col,bins=break_points,labels=labels,include_lowest=True)
return colBin
#為年齡分箱:
cut_points = [30,50,70]
#labels = ["low","medium","high","very high"]
train_data["Age_bin"] = binning(train_data["Age"], cut_points)
print(pd.value_counts(train_data["Age_bin"], sort=False))
7、數據分箱（離散化）
def binning(col, cut_points, labels=None):
minval = col.min()
maxval = col.max()
#利用最大值和最小值創建分箱點的列表
break_points = [minval] + cut_points + [maxval]
#如果沒有標簽，則使用默認標簽0 ... (n-1)
if not labels:
labels = range(len(cut_points)+1)
#使用pandas的cut功能分箱
colBin = pd.cut(col,bins=break_points,labels=labels,include_lowest=True)
return colBin
#為年齡分箱:
cut_points = [30,50,70]
#labels = ["low","medium","high","very high"]
train_data["Age_bin"] = binning(train_data["Age"], cut_points)
print(pd.value_counts(train_data["Age_bin"], sort=False))
參考與拓展閱讀：
[1]Python 拷貝對象（深拷貝deepcopy與淺拷貝copy）
[2]用 Python 做數據處理必看：12 個使效率倍增的 Pandas 技巧（上）
[3]用 Python 做數據處理必看：12 個使效率倍增的 Pandas 技巧（下）
[4]【分析篇】：Pandas像sql操作python 進行數據分析
[5]數據分析之pandas學習
