通過一個kaggle實例學(xué)習(xí)解決機器學(xué)習(xí)問題

之前寫過一篇 一個框架解決幾乎所有機器學(xué)習(xí)問題 但是沒有具體的例子和代碼,今天看到一個不錯的 kaggle 上的 code Exploratory Tutorial - Titanic 來解析一下,源碼可以直接點這個鏈接。

在這篇文章中可以學(xué)到一個完整的運用機器學(xué)習(xí)解決分析問題的過程,它包括了解決問題的一般流程,描述性統(tǒng)計的常用方法,數(shù)據(jù)清洗的常用方法,如何由給定的普通變量啟發(fā)式思考其他影響因素,sklearn 建立模型的一般流程,以及很火的 ensemble learning 怎么用

下面進入正題:

Titanic: Machine Learning from Disaster 這個問題中,要解決的是根據(jù)所提供的 age,sex 等因素的數(shù)據(jù),判斷哪些乘客更有可能生存下來,所以這是一個分類問題。

在解決機器學(xué)習(xí)問題時,一般包括以下流程:

  1. Data Exploration
  2. Data Cleaning
  3. Feature Engineering
  4. Model Building
  5. Ensemble Learning
  6. Predict

<h4 id="explore">1. Data Exploration</h4>

這部分先導(dǎo)入常用的 Numpy,Pandas,Matplotlib 等包,導(dǎo)入訓(xùn)練集和測試集:

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline
train = pd.read_csv('../input/train.csv')
test = pd.read_csv('../input/test.csv')

之后,可以用下面的命令先觀察一下數(shù)據(jù)表的結(jié)構(gòu):

train.tail()
test.head()
train.describe()

接下來,可以觀察各個變量的分布情況:

各個變量在測試集和訓(xùn)練集的分布差不多一致。


然后看一下各個變量對分類標簽的影響:

例如,性別的影響,通過可視化可以發(fā)現(xiàn),生還的乘客中女性多于男性.

或者 Pclass 的影響。


<h4 id="clean">2. Data Cleaning</h4>

這個部分,可以統(tǒng)計一下各個變量的缺失值情況:

train.isnull().sum()
#test.isnull().sum()


PassengerId      0
Survived         0
Pclass           0
Name             0
Sex              0
Age            177
SibSp            0
Parch            0
Ticket           0
Fare             0
Cabin          687
Embarked         2
dtype: int64

然后對缺失部分進行處理,如果是連續(xù)變量,可以采用預(yù)測模型,例如 Age,如果是離散的變量,可以找到類似的數(shù)據(jù)群體,然后取最多的,或者最多群體的平均值。
eg,Embarked 這兩個缺失值,可以看 Pclass 1 and Fare 80 時,最多的情況是 Embarked=C。

<h4 id="feature">3. Feature Engineering</h4>

之前有過一篇 特征工程怎么做 只是介紹了一些概念,這個例子就是比較具有啟發(fā)性,看看怎么通過給定的幾個變量,去拓展成更有影響力的 feature,如何結(jié)合實際情況聯(lián)想新的因素,并轉(zhuǎn)化成數(shù)字的形式表達出來。

下面是數(shù)據(jù)中的原始變量,看看由它們可以聯(lián)想到什么因素。

pclass          Passenger Class
                (1 = 1st; 2 = 2nd; 3 = 3rd)
name            Name
sex             Sex
age             Age
sibsp           Number of Siblings/Spouses Aboard
parch           Number of Parents/Children Aboard
ticket          Ticket Number
fare            Passenger Fare
cabin           Cabin
embarked        Port of Embarkation
                (C = Cherbourg; Q = Queenstown; S = Southampton)

除了性別,年齡等明顯的因素,社會地位等也可能影響著誰會優(yōu)先乘坐救生艇,或被救助而生存下來。例如,

  • Name 里可以抓取到這樣的字眼,來反映出乘客的職場地位: ['Capt', 'Col', 'Major', 'Dr', 'Officer', 'Rev']。
  • Cabin 里的 [a-zA-Z] 也許可以反映出社會地位。
  • Cabin 里的 [0-9] 可能代表船艙的地理位置。
  • SibSp 可以算出乘客中同一家庭成員人數(shù)的大小。
title[title.isin(['Capt', 'Col', 'Major', 'Dr', 'Officer', 'Rev'])] = 'Officer'

deck = full[~full.Cabin.isnull()].Cabin.map( lambda x : re.compile("([a-zA-Z]+)").search(x).group())

checker = re.compile("([0-9]+)")

full['Group_num'] = full.Parch + full.SibSp + 1

在這個環(huán)節(jié)中,還有必要把類別數(shù)據(jù)變換成 dummy variable 的形式,也就是變換成向量格式,屬于第幾類就在第幾個位置上為 1,其余位置為 0.

連續(xù)數(shù)據(jù)做一下歸一化,即把大范圍變化的數(shù)據(jù)范圍縮小至 0~1 或者 -1~1 之間。
然后把不相關(guān)的變量 drop 掉。

train = pd.get_dummies(train, columns=['Embarked', 'Pclass', 'Title', 'Group_size'])

full['NorFare'] = pd.Series(scaler.fit_transform(full.Fare.reshape(-1,1)).reshape(-1), index=full.index)

full.drop(labels=['PassengerId', 'Name', 'Cabin', 'Survived', 'Ticket', 'Fare'], axis=1, inplace=True)

<h4 id="model">4. Model Building</h4>

首先就是把數(shù)據(jù)分為訓(xùn)練集和測試集,用到 train_test_split

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

因為后面會用到很多模型,所以可以把 cross validation 和 fit 的部分寫入一個函數(shù),這樣每次把分類器投入到函數(shù)中訓(xùn)練,最后返回訓(xùn)練好的模型即可。

from sklearn.model_selection import GridSearchCV
from sklearn.metrics import make_scorer
from sklearn.metrics import accuracy_score

scoring = make_scorer(accuracy_score, greater_is_better=True)

def get_model(estimator, parameters, X_train, y_train, scoring):  
    model = GridSearchCV(estimator, param_grid=parameters, scoring=scoring)
    model.fit(X_train, y_train)
    return model.best_estimator_

以一個 KNN 為例,來看一下建立 訓(xùn)練 并用模型預(yù)測的過程,

  • sklearn 導(dǎo)入分類器模型后,定義一個 KNN,
  • 定義合適的參數(shù)集 parameters
  • 然后用 get_model 去訓(xùn)練 KNN 模型,
  • 接下來用訓(xùn)練好的模型去預(yù)測測試集的數(shù)據(jù),并得到 accuracy_score
  • 然后畫出 learning_curve
from sklearn.neighbors import KNeighborsClassifier
KNN = KNeighborsClassifier(weights='uniform')
parameters = {'n_neighbors':[3,4,5], 'p':[1,2]}
clf_knn = get_model(KNN, parameters, X_train, y_train, scoring)

print (accuracy_score(y_test, clf_knn.predict(X_test)))
plot_learning_curve(clf_knn, 'KNN', X, y, cv=4);

采用上面的方式,嘗試多種模型,并打印出它們的 accuracy_score

KNN, 0.816143497758
Random Forest, 0.829596412556
只選擇比較重要的幾個特征后的 Random Forest, 0.834080717489
Logistic Regression, 0.811659192825
SVC, 0.838565022422
XGBoost, 0.820627802691

<h4 id="ensemble">5. Ensemble</h4>

接下來把前面訓(xùn)練好的幾個分類器用 VotingClassifier 集成起來再 fit 訓(xùn)練一下,打印 accuracy_score 并畫出 learning_curve

from sklearn.ensemble import VotingClassifier
clf_vc = VotingClassifier(estimators=[('xgb1', clf_xgb1), ('lg1', clf_lg1), ('svc', clf_svc), 
                                      ('rfc1', clf_rfc1),('rfc2', clf_rfc2), ('knn', clf_knn)], 
                          voting='hard', weights=[4,1,1,1,1,2])
clf_vc = clf_vc.fit(X_train, y_train)

print (accuracy_score(y_test, clf_vc.predict(X_test)))
plot_learning_curve(clf_vc, 'Ensemble', X, y, cv=4);
ensemble, 0.825112107623

<h4 id="pred">6. Prediction</h4>

用最后訓(xùn)練好的 model 去預(yù)測給出的測試集文件,并把數(shù)據(jù)按照指定格式做好,存進 csv 提交即可。

def submission(model, fname, X):
    ans = pd.DataFrame(columns=['PassengerId', 'Survived'])
    ans.PassengerId = PassengerId
    ans.Survived = pd.Series(model.predict(X), index=ans.index)
    ans.to_csv(fname, index=False)

歷史技術(shù)博文鏈接匯總

我是 不會停的蝸牛 Alice
85后全職主婦
喜歡人工智能,行動派
創(chuàng)造力,思考力,學(xué)習(xí)力提升修煉進行中
歡迎您的喜歡,關(guān)注和評論!

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

推薦閱讀更多精彩內(nèi)容