根據天池項目建模調參總結而出
機器學習算法的基礎知識詳見：

1.線性回歸模型

• 將訓練集分為train_X特征變量,train_y結果變量

train_X = train[continuous_feature_names]
train_y = train['price']

• 用sklearn進行線性模型訓練

from sklearn.linear_model import LinearRegression
model = LinearRegression(normalize=True)
model = model.fit(train_X, train_y)
sorted(dict(zip(continuous_feature_names,model.coef_)).items(),key=lambda x:x[1],reverse=True)

• 將train_y與模型預測出的值進行散點分布對比

plt.scatter(x=train_X['v_9'][subsample_index],y=train_y[subsample_index],color='black')#真實y值
plt.scatter(x=train_X['v_9'][subsample_index],y=model.predict(train_X.loc[subsample_index]),color='blue')#訓練后的y值

image.png

• 可見真實值和訓練值相差較大，因此模型存在問題。
  price是長尾分布，因為模型多數假設為正態分布，可以試著將其轉換成正態分布

train_y_ln = np.log((train_y)+1)
sns.distplot(train_y_ln)

• 將train_y與新的模型預測值進行散點圖分布對比

model = model.fit(train_X,train_y_ln)
sorted(dict(zip(continuous_feature_names,model.coef_)).items(),key=lambda x:x[1],reverse=True)
plt.scatter(x=train_X['v_9'][subsample_index],y=train_y[subsample_index],color='black')
plt.scatter(x=train_X['v_9'][subsample_index],y=np.exp(model.predict(train_X.loc[subsample_index])),color='blue')

image.png

再次進行可視化，發現預測結果與真實值較為接近，且未出現異常狀況

2.交叉驗證

在進行訓練時，通常會分為三組，訓練集、驗證集、測試集。測試集不參加訓練，只測試訓練結果。訓練集和驗證集是從訓練數據中取出，為了使驗證結果更加有效，使用交叉驗證。K折交叉驗證就是將訓練數據分為K層，其中每一層有一次機會作為驗證集，其他作為訓練集，循環K次，返回評分數組，求該數組的均值。

cross_val_score(estimator-訓練對象如model, X, y=None, scoring=None調用方法, cv=None-K折, n_jobs=1, verbose=0, fit_params=None, pre_dispatch=‘2*n_jobs’)

因為對價格標簽做了對數變化，想對比變換前和變換后的得分，這時因為兩者的數值區間不同，因此需要對未做變換的y和yhat預測進行log轉換到同一個數值區間中，在進行比較。因此需要對MSE進行自定義log方法。

• log變換前MSE得分(error:1.36)

from sklearn.model_selection import cross_val_score
from sklearn.metrics import mean_absolute_error,make_scorer#構造評估函數
def log_transfer(func):
    def wrapper(y,yhat):
        result = func(np.log(y),np.nan_to_num(np.log(yhat)))
        return result
    return wrapper
scores = cross_val_score(model,X=train_X,y=train_y,cv=5,scoring=make_scorer(log_transfer(mean_absolute_error))) 
print('AVG:', np.mean(scores))
個人理解：make_scorer構造評估函數，cross_val_score傳兩個值給scoring參數，一個是y，一個是根據model后的y即yhat。
log_transfer的目的是對MSE方法進行改造，改成y和yhat均為log后的。

• log變換后MSE得分(error:0.19)

scores = cross_val_score(model,X=train_X,y=train_y_ln,cv=5,scoring=make_scorer(mean_absolute_error))
print('AVG:', np.mean(scores))

可以看出變換后效果還是有很大提升。

注意：考慮到事實上我們并不能通過2018年數據預測2017數據，因此可以采用時間順序對數據進行分隔，這里采用的是靠前時間的4/5樣本當作訓練集，靠后時間的1/5當作驗證集。

split_point = len(sample_feature) // 5 * 4#分成4/5份
model = model.fit(train_X, train_y_ln)
mean_absolute_error(val_y_ln, model.predict(val_X))
#mean_absolute_error(y_true驗證集的y,y_pre驗證集x放入訓練模型得出的y)

#mean_absolute_error(y_true驗證集的y,y_pre驗證集x放入訓練模型得出的y)

3. 繪制學習曲線

學習曲線：一種用來判斷訓練模型的一種方法，通過觀察繪制出來的學習曲線圖，我們可以比較直觀的了解到我們的模型處于一個什么樣的狀態，如：過擬合（overfitting）或欠擬合（underfitting）

image.png

（2）觀察右上圖，訓練集準確率高于期望值，驗證集則低于期望值，兩者之間有很大的間距，誤差很大，對于新的數據集模型適應性較差，所以由圖可得該模型屬于過擬合（overfitting）問題。由于過擬合，所以我們降低模型的復雜度，比如減小樹的深度、增大分裂節點樣本數、增大樣本數、減少特征數等等。

（3）一個比較理想的學習曲線圖應當是：低偏差、低方差，即收斂且誤差小。
未完待續？？？？？稍后補充

4.多模型對比

嵌入特征選擇直接在訓練時進行特征篩選，嵌入式選擇最常用的是L1正則化與L2正則化。在對線性回歸模型加入兩種正則化方法后，他們分別變成了嶺回歸與Lasso回歸。簡單來說，正則化的目的就是為了減少過擬合現象。

from sklearn.linear_model import LinearRegression
from sklearn.linear_model import Ridge
from sklearn.linear_model import Lasso
models = [LinearRegression(),
          Ridge(),
          Lasso()]
result = dict()
for model in models:
    model_name = str(model).split('(')[0]
    scores = cross_val_score(model, X=train_X, y=train_y_ln, verbose=0, cv = 5, scoring=make_scorer(mean_absolute_error))
    result[model_name] = scores
    print(model_name + ' is finished')
result = pd.DataFrame(result)
result.index = ['cv' + str(x) for x in range(1, 6)]
result

參考：
https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12586969.1002.12.1cd8593auEGaCE&postId=95460源代碼

數據建模、調參、模型融合需要大量基礎知識點，因此需要時間整理，所以本項目停更一段時間~感謝！