一：前言
這是一個線性回歸的學習筆記，數據源是我愛我家的北京朝陽區的房屋價格及其相關信息，有室、廳、大小、朝向、樓層層數、裝修程度、單價、總價。然后利用scikit-learn 構建一個簡單的多元線性回歸模型并預測。介紹相關的sklearn函數使用和參數意義。
目的：練習pandas、sklearn等相關模塊函數使用
二：運行環境
- Python 3.6
- jupyter notebook
- scikit-learn 0.19.1
- pandas 0.20.3
三：數據抓取
我愛我家-朝陽區 https://bj.5i5j.com/ershoufang/chaoyangqu/
抓取思路：查看當前地區房屋頁面數量，然后循環抓取當頁數據，本次抓取的數據有rooms halls size direction unit_price price，其實如果把距離地鐵的距離加進去也是一個不錯的特征，但是考慮到模型簡單一點，就暫時沒有加，后面如果練習的話可以考慮放進去訓練。
下面是抓取部分的代碼，把頁面數填進去，數據量不大所以就循環抓取即可。
具體代碼見：https://github.com/rieuse/Machine_Learning/blob/master/House_Regression
def get_house_data():
for num in range(1, 299):
url = f'https://bj.5i5j.com/ershoufang/chaoyangqu/n{num}/'
print(url)
s = requests.session()
html = s.get(url, headers=headers).text
content = etree.HTML(html).xpath('//*[@class="listCon"]')
for item in content:
desc = item.xpath('./div[1]/p[1]/text()')[0].replace(' ','')
price = item.xpath('./div[1]/div[1]/p[1]/strong/text()')[0]
unit_price = item.xpath('./div[1]/div[1]/p[2]//text()')[0][2:-4]
rooms = desc[:1]
halls = desc[2:3]
size = re.search(r'(?<=·).+(?=平米·)', desc)[0]
direction = re.search(r'(?<=平米·).{1,2}(?=·)', desc)
if not direction:
direction = ''
else:
direction = direction[0]
height = re.search(r'(?<=·).{1}(?=樓層)', desc)[0]
if '裝' in desc:
decoration = desc[-2:-1]
else:
decoration = ''
data = {
'rooms': rooms,
'halls': halls,
'size': size,
'direction': direction,
'height': height,
'decoration': decoration,
'unit_price': unit_price,
'price': price
}
print(data)
四：利用sklearn 構建多元線性回歸模型
（1）
下面的代碼建議在jupyter notebook 上運行，這樣對數據可視化會很方便。
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
%matplotlib inline
row_df = pd.read_csv('house_price.csv')
df = row_df[row_df.iloc[:,1] !='多']
# 去除數據中房間數目是‘多’ 的部分
data_X = df[['rooms','halls','size','unit_price']]
data_y = df.price
# 選取指定的特征
X_train, X_test, y_train, y_test = train_test_split(data_X, data_y, test_size=0.3)
# 利用 train_test_split 把數據集分割成訓練集和測試集
model = LinearRegression(fit_intercept=True, normalize=False, copy_X=True, n_jobs=1)
model.fit(X_train,y_train)
LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False)
model.score(X_test,y_test)
# score： 0.94163368657645685
print(model.coef_)
print(model.intercept_)
# model.coef_輸出線性方程的參數，model.intercept_輸出線性方程的節距
上面選取了'rooms','halls','size','unit_price'，這幾個特征進去訓練，最后的預測效果評分達到94.16% 如果去掉單價這個特征來訓練，預測效果評分就會下降很多。
data_X = df[['rooms','halls','size']]
data_y = df.price
X_train, X_test, y_train, y_test = train_test_split(data_X, data_y, test_size=0.3)
model = LinearRegression(fit_intercept=True, normalize=True, copy_X=True, n_jobs=1)
model.fit(X_train,y_train) # 訓練模型
model.score(X_test,y_test) # 獲取模型效果評分
model.predict(np.array([3,1,90]).reshape(1, -1))
# out：array([ 648.07270425])
根據訓練好的模型，我們就可以看看北京朝陽區的三室一廳，90平米這樣的房子大致是多少錢了，輸出結果是648.07萬元。
（2） LinearRegression() 參數
| 參數 | 類型 | 默認值 | 說明 |
|---|---|---|---|
| fit_intercept | 布爾型 | true | 是否對訓練數據進行中心化。如果該變量為false，則表明輸入的數據已經進行了中心化，在下面的過程里不進行中心化處理；否則，對輸入的訓練數據進行中心化處理 |
| normalize | 布爾型 | false | 是否對數據進行標準化處理 |
| copy_X | 布爾型 | true | 是否對X復制，如果選擇false，則直接對原數據進行覆蓋。（即經過中心化，標準化后，是否把新數據覆蓋到原數據上） |
| n_jobs | 整型 | 1 | 計算時設置的任務個數(number of jobs)。如果選擇-1則代表使用所有的CPU。對于 n_targets>1 且足夠大規模的問題有加速作用。 |
（3） LinearRegression() 返回值：
| 名稱 | 返回值 | 說明 |
|---|---|---|
| coef_ | 數組型變量， 形狀為(n_features,)或(n_targets, n_features) | 說明：對于線性回歸問題計算得到的feature的系數。如果輸入的是多目標問題，則返回一個二維數組(n_targets, n_features)；如果是單目標問題，返回一個一維數組 (n_features,)。 |
| intercept_ | 數組型變量 | 線性模型中的獨立項。例如這里的b： y = ax + b |
五：總結
該項目代碼以及數據源全部存放于 github.com/rieuse/Machine_Learning
會了爬蟲就可以自己抓取喜歡的數據拿來分析數據和跑機器學習，非常方便。這次利用自己抓取的數據，練習了sklearn的線性回歸模型。也同時看到了北京房價的恐怖，買房還需努力呀。抓取的數據特征有很多，利用更多的特征訓練的模型效果就越好，預測就會更準。以后我在嘗試一下利用這些特征最大化預測效果，或者使用其他的模型或者來訓練本次的數據。
