機器學習
- 監督學習
- 回歸分析
- 分類問題
- 非監督學習
- 分組問題
- 降低維度
一元線性回歸
% pylab inline
import pandas
df = pandas.read_csv('Data/salary.csv',index_col=0) # 使用數據
from matplotlib import pyplot as plt
X= df[['year']] # type(X) DataFrame
Y = df['salary'].values # type(Y) numpy.ndarray
plt.scatter(X,Y,color='black') #X,Y 散點圖
plt.xlabel('year') # 橫軸標簽
plt.ylabel('salary') #縱軸標簽
from sklearn.linear_model import LinearRegression #引入線性回歸模型
regr = LinearRegression() # 回歸模型實例
regr.fit(X,Y)
regr.coef_ # 回歸線斜率
regr.intercept_ # 回歸線截距
regr.predict() # 回歸模型預測
plt.plot(X,regr.predict(X),linewidth=3,color='blue') # 圖上添加回歸線
一元線性回歸
多項式回歸
% pylab inline
import pandas
df = pandas.read_csv('Data/salary.csv',index_col=0) # 使用數據
from matplotlib import pyplot as plt
X= df[['year']] # type(X) DataFrame
Y = df['salary'].values # type(Y) numpy.ndarray
plt.scatter(X,Y,color='black') #X,Y 散點圖
plt.xlabel('year') # 橫軸標簽
plt.ylabel('salary') #縱軸標簽
from sklearn.preprocessing import PolynomialFeatures #引入多項式轉換
from sklearn.linear_model import LinearRegression # 引入線性回歸模型
poly_reg = PolynomialFeatures(degree = 2) #設置為二項式轉換
X_ = poly_reg.fit_transform(X) # 轉換X
regr=LinearRegression()
regr.fit(X_,Y)
plt.scatter(X,Y,color='black')
plt.plot(X,regr.predict(X_),linewidth=3,color='blue') # 畫回歸線
因為X沒有排序，畫出來的圖是這樣的。。。
錯誤示范
X2= X.sort_values(['year']) #對X按year排序
X2_ = poly_reg.fit_transform(X2) #排序后的X二項式轉換
plt.scatter(X,Y,color='black')
plt.plot(X2,regr.predict(X2_),linewidth=3,color='blue')
plt.xlabel('year')
plt.ylabel('salary')
多項式回歸
多元線性回歸
import pandas
df= pandas.read_csv('../Data/house-prices.csv')
df = pandas.concat([df,pandas.get_dummies(df['Brick']),pandas.get_dummies(df['Neighborhood'])],axis=1)
# 數據整理，用pandas.get_dummies函數將非數值型變量變為數值型變量
del df['Home'],df['Brick'],df['Neighborhood'],df['No'],df['West']
# 刪除無關數據，和get_dummies時生成的多余數據
from sklearn.linear_model import LinearRegression
regr = LinearRegression()
X = df[['SqFt','Bedrooms','Bathrooms','Offers','Yes','East','North']]
Y = df['Price'].values
regr.fit(X,Y)
regr.coef_ # 回歸系數
regr.intercept_ # 回歸截距
regr.predict(X) # 回歸模型預測
回歸模型評估
import statsmodels.api as sm
X2=sm.add_constant(X)
est = sm.OLS(Y,X2)
est2 = est.fit()
print(est2.summary())
得到以下結果
1、線性關系顯著性檢驗
H0：β=0，H1：β≠0，檢驗方法：t檢驗，顯著性水平假設為0.01
結果中變量的P>|t| 均小于0.01，原假設不成立，變量與應變量間關系顯著
2、檢驗多元回歸模型
H0:β1=β2=β3=β4=β5...=0,H1:at least one βk≠0，檢驗方法：F檢驗，顯著性水平假設為0.01
結果中Prob (F-statistic): 8.25e-50 小于0.01，原假設不成立，多元回歸模型成立
3、模型擬合度檢驗
R-squared: 0.869
Adj. R-squared: 0.861 根據自變量數量修正后的R方，自變量數量越多，修正后R方越小
R-squared越大，模型擬合越好。
4、過度擬合檢驗
AIC(赤池信息量)
選擇由不同自變量組合對應的最小AIC對應自變量組合作為模型選取的自變量
predictorcol = list(X.columns) #自變量列表
import itertools
AICs = {}
for k in range(1,len(predictorcol)+1):
for variables in itertools.combinations(predictorcol,k): # 所有自變量組合
predictors = X[list(variables)]
predictors2 = sm.add_constant(predictors)
est = sm.OLS(Y,predictors2)
est2 = est.fit()
AICs[variables] = est2.aic # 計算自變量組合的AIC值，存入詞典
# 顯示AIC最小的10個組合
from collections import Counter
c = Counter(AICs)
c.most_common()[::-10]
