根據天池項目建模調參總結而出
機器學習算法的基礎知識詳見:
1.線性回歸模型
- 將訓練集分為train_X特征變量,train_y結果變量
train_X = train[continuous_feature_names]
train_y = train['price']
- 用sklearn進行線性模型訓練
from sklearn.linear_model import LinearRegression
model = LinearRegression(normalize=True)
model = model.fit(train_X, train_y)
sorted(dict(zip(continuous_feature_names,model.coef_)).items(),key=lambda x:x[1],reverse=True)
- 將train_y與模型預測出的值進行散點分布對比
plt.scatter(x=train_X['v_9'][subsample_index],y=train_y[subsample_index],color='black')#真實y值
plt.scatter(x=train_X['v_9'][subsample_index],y=model.predict(train_X.loc[subsample_index]),color='blue')#訓練后的y值
- 可見真實值和訓練值相差較大,因此模型存在問題。
price是長尾分布,因為模型多數假設為正態分布,可以試著將其轉換成正態分布
train_y_ln = np.log((train_y)+1)
sns.distplot(train_y_ln)
- 將train_y與新的模型預測值進行散點圖分布對比
model = model.fit(train_X,train_y_ln)
sorted(dict(zip(continuous_feature_names,model.coef_)).items(),key=lambda x:x[1],reverse=True)
plt.scatter(x=train_X['v_9'][subsample_index],y=train_y[subsample_index],color='black')
plt.scatter(x=train_X['v_9'][subsample_index],y=np.exp(model.predict(train_X.loc[subsample_index])),color='blue')
再次進行可視化,發現預測結果與真實值較為接近,且未出現異常狀況
2.交叉驗證
在進行訓練時,通常會分為三組,訓練集、驗證集、測試集。測試集不參加訓練,只測試訓練結果。訓練集和驗證集是從訓練數據中取出,為了使驗證結果更加有效,使用交叉驗證。K折交叉驗證就是將訓練數據分為K層,其中每一層有一次機會作為驗證集,其他作為訓練集,循環K次,返回評分數組,求該數組的均值。
cross_val_score(estimator-訓練對象如model, X, y=None, scoring=None調用方法, cv=None-K折, n_jobs=1, verbose=0, fit_params=None, pre_dispatch=‘2*n_jobs’)
因為對價格標簽做了對數變化,想對比變換前和變換后的得分,這時因為兩者的數值區間不同,因此需要對未做變換的y和yhat預測進行log轉換到同一個數值區間中,在進行比較。因此需要對MSE進行自定義log方法。
- log變換前MSE得分(error:1.36)
from sklearn.model_selection import cross_val_score
from sklearn.metrics import mean_absolute_error,make_scorer#構造評估函數
def log_transfer(func):
def wrapper(y,yhat):
result = func(np.log(y),np.nan_to_num(np.log(yhat)))
return result
return wrapper
scores = cross_val_score(model,X=train_X,y=train_y,cv=5,scoring=make_scorer(log_transfer(mean_absolute_error)))
print('AVG:', np.mean(scores))
個人理解:make_scorer構造評估函數,cross_val_score傳兩個值給scoring參數,一個是y,一個是根據model后的y即yhat。
log_transfer的目的是對MSE方法進行改造,改成y和yhat均為log后的。
- log變換后MSE得分(error:0.19)
scores = cross_val_score(model,X=train_X,y=train_y_ln,cv=5,scoring=make_scorer(mean_absolute_error))
print('AVG:', np.mean(scores))
可以看出變換后效果還是有很大提升。
注意:考慮到事實上我們并不能通過2018年數據預測2017數據,因此可以采用時間順序對數據進行分隔,這里采用的是靠前時間的4/5樣本當作訓練集,靠后時間的1/5當作驗證集。
split_point = len(sample_feature) // 5 * 4#分成4/5份
model = model.fit(train_X, train_y_ln)
mean_absolute_error(val_y_ln, model.predict(val_X))
#mean_absolute_error(y_true驗證集的y,y_pre驗證集x放入訓練模型得出的y)
#mean_absolute_error(y_true驗證集的y,y_pre驗證集x放入訓練模型得出的y)
3. 繪制學習曲線
學習曲線:一種用來判斷訓練模型的一種方法,通過觀察繪制出來的學習曲線圖,我們可以比較直觀的了解到我們的模型處于一個什么樣的狀態,如:過擬合(overfitting)或欠擬合(underfitting)
(1)觀察左上圖,訓練集準確率與驗證集準確率收斂,但是兩者收斂后的準確率遠小于我們的期望準確率(上面那條紅線),所以由圖可得該模型屬于欠擬合(underfitting)問題。由于欠擬合,所以我們需要增加模型的復雜度,比如,增加特征、增加樹的深度、減小正則項等等,此時再增加數據量是不起作用的。
(2)觀察右上圖,訓練集準確率高于期望值,驗證集則低于期望值,兩者之間有很大的間距,誤差很大,對于新的數據集模型適應性較差,所以由圖可得該模型屬于過擬合(overfitting)問題。由于過擬合,所以我們降低模型的復雜度,比如減小樹的深度、增大分裂節點樣本數、增大樣本數、減少特征數等等。
(3)一個比較理想的學習曲線圖應當是:低偏差、低方差,即收斂且誤差小。
未完待續?????稍后補充
4.多模型對比
嵌入特征選擇直接在訓練時進行特征篩選,嵌入式選擇最常用的是L1正則化與L2正則化。在對線性回歸模型加入兩種正則化方法后,他們分別變成了嶺回歸與Lasso回歸。簡單來說,正則化的目的就是為了減少過擬合現象。
from sklearn.linear_model import LinearRegression
from sklearn.linear_model import Ridge
from sklearn.linear_model import Lasso
models = [LinearRegression(),
Ridge(),
Lasso()]
result = dict()
for model in models:
model_name = str(model).split('(')[0]
scores = cross_val_score(model, X=train_X, y=train_y_ln, verbose=0, cv = 5, scoring=make_scorer(mean_absolute_error))
result[model_name] = scores
print(model_name + ' is finished')
result = pd.DataFrame(result)
result.index = ['cv' + str(x) for x in range(1, 6)]
result
參考:
https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12586969.1002.12.1cd8593auEGaCE&postId=95460源代碼
數據建模、調參、模型融合需要大量基礎知識點,因此需要時間整理,所以本項目停更一段時間~感謝!