房價數據轉換和清洗

1.下載廈門房價信息源文件

下載鏈接:https://pan.baidu.com/s/16D5hw-XBEQnwtsf4fDJ8xw 密碼:e1fg

2.新建一個ipynb文件

下載成功后,在源文件所在的文件夾中下圖所標示的位置中輸入cmd,確定命令正確后運行。

打開cmd.png

出現的cmd如下圖所示
cmd打開后圖示.png

在cmd中輸入命令jypyter notebook
運行命令成功圖示.png

新建一個ipynb文件.png

對新建的ipynb文件重命名1.png

將ipynb文件重命名為dataProcessing
對新建的ipynb文件重命名2.png

3.導入數據并查看數據字段
導入數據.png

從上圖可以看出原有共15列,分別為:標題title、價格price、首付downPayment、戶型sizeType、面積size、單價unitPrice、朝向orientation、樓層floor、裝修decoration、社區community、區域region、學校school、房屋詳情houseDetail、核心賣點keySellingPoint、配套設施equipment。

4.數據處理

因為這次實驗不用到文本識別和語義分析,去除標題title、核心賣點keySellingPoint、配套設置equipment三個字段。


數據處理1.png

在數據處理過程中,需要多次查看DataFrame的字段,所以定義一個函數。

def printField(df):
    for x,y in enumerate(list(df.iloc[0].keys()),start=1):
        print(x,y)

觀察數據源,發現首付downPayment字段與價格price字段成線性關系,所以要去除這個字段。

數據處理2.png

從事實的角度出發,因為我們要預測房子的房價,即單價unitPrice,在不知道單價的情況下不知道總價,所以刪除總價price這個字段。
數據處理3.png

現在第一個字段是sizeType,有一部分行的值為暫無,刪除這個字段值為暫無的行。
選出滿足條件的行.png

數據處理4.png

從上圖看出DataFrame的行數從26332行變為了25887行。


把戶型拆分成3個字段:室、廳、衛,以下一段代碼新產生一個DataFrame保存新產生的3個字段

import pandas as pd
import re
sizeType_list = []
def findNumber(reStr,sourceStr):
    result_list = re.findall(reStr,sourceStr)
    if len(result_list):
        return result_list[0]
    else:
        return 0
for i in range(len(df)):
    sizeType = df['sizeType'].iloc[i]
    sizeType_dict = dict(
        room = findNumber('([0-9]*)室',sizeType),
        hall = findNumber('([0-9]*)廳',sizeType),
        restroom =findNumber('([0-9]*)衛',sizeType)
    )
    sizeType_list.append(sizeType_dict)
df1 = pd.DataFrame(sizeType_list,columns=sizeType_list[0].keys())

下面的圖把3個字段賦值給原來的DataFrame,并顯示一下前面10行

增加3個字段.png

刪除sizeType字段.png

刪除size字段中的平米,使該字段內容變為數字內容

處理數據6.png


刪除unitPrice字段中的元/平米,使該字段內容變為數字內容

處理數據7.png

將房屋的朝向轉換為0-1矩陣,使用pd.get_dummies方法發現有不規則值???請選擇朝向

查看是否有異常值.png

查看異常值情況.png

刪除這兩個異常值


刪除這兩個異常值.png

處理數據8.png

作者發現后面一些字段的處理相對來說比較麻煩,所以經過一段時間的抉擇,統一用函數產生新的DataFrame,然后把新的DataFrame用pd.concat方法連接起來,這樣編寫代碼時邏輯更清晰。所以前面的篇幅可以用作思路的參考,最終數據處理只需要復制下面一段代碼就可以完成。

'''
原來的數據總共有15列:分別為:標題title、價格price、首付downPayment、
戶型sizeType、面積size、單價unitPrice、朝向orientation、樓層floor、
裝修decoration、社區community、區域region、學校school、房屋詳情houseDetail、
核心賣點keySellingPoint、配套設施equipment
'''
'''
進行簡單的房價預測不需要用到文本識別和語義分析,因此不需要用到title、
keySellingPoint、equipment,根據現實的情況來說因為先有單價才有總房價,
而進行預測的正是單價,所以用不到price、downPayment。觀察房屋詳情,發現
其中的數據有錯誤,有的20多層的樓房卻顯示沒有電梯,這不符合高層住房電梯
規定,7層及以上住房必須安裝電梯,不符合實際,所有房產有無電梯根據總樓層數判斷
'''
import pandas as pd
import re
import time

def getSizeType(df):
    def findNumber(reStr,sourceStr):
        result_list = re.findall(reStr,sourceStr)
        if len(result_list):
            return result_list[0]
        else:
            return 0
    sizeType_list = []
    for i in range(len(df)):
        sizeType = df['sizeType'].iloc[i]
        sizeType_dict = dict(
            room = findNumber('([0-9]*)室',sizeType),
            hall = findNumber('([0-9]*)廳',sizeType),
            restroom =findNumber('([0-9]*)衛',sizeType)
        ) 
        sizeType_list.append(sizeType_dict)
    return pd.DataFrame(sizeType_list,columns=sizeType_list[0].keys())

def getSize(df):
    df1 = df['size'].copy()
    for i in range(len(df)):
        size = float(df['size'].iloc[i].strip("平米"))
        if size < 50:
            df1.iloc[i] = 'size1'
        elif size < 100:
            df1.iloc[i] = 'size2'
        elif size < 150:
            df1.iloc[i] = 'size3'
        elif size < 200:
            df1.iloc[i] = 'size4'
        else:
            df1.iloc[i] = 'size5'
    return pd.get_dummies(df1)

def getUnitPrice(df):
    df1 = df['unitPrice'].copy()
    for i in range(len(df)):
        df1.iloc[i] = df['unitPrice'].iloc[i].strip("元/平米")
    return df1

def getOrientation(df):
    return pd.get_dummies(df['orientation'])

def getHeight(df):
    df1 = df['floor'].copy()
    for i in range(len(df)):
        
        df1.iloc[i] = df['floor'].iloc[i].split(' ')[0][0]
    return pd.get_dummies(df1)

def getElevator(df):
    ele_list = []
    for i in range(len(df)):
        str1 = df['floor'].iloc[i].split(' ')[1]
        allFloor = int(re.findall("共(.*)層",str1)[0])
        elevator = 1 if allFloor >= 8 else 0
        ele_dict = {'elevator':elevator}
        ele_list.append(ele_dict)
    df1 = pd.DataFrame(ele_list)
    return df1

def getDecoration(df):
    df1 = df['decoration'].copy()
    for i in range(len(df)):
        df1.iloc[i] = df['decoration'].iloc[i].strip('修')
    return pd.get_dummies(df1)

def getCommunity(df):
    df1 = df['community'].copy()
    for i in range(len(df)):
        df1.iloc[i] = 1 if df['community'].iloc[i] == \
        df['community'].iloc[i] else 0
    return df1

def getDistrict(df):
    df1 = df['region'].copy()
    for i in range(len(df)):
        df1.iloc[i] = df['region'].iloc[i].split('-')[0]
    return pd.get_dummies(df1)

def getRegion(df):
    df1 = df['region'].copy()
    for i in range(len(df)):
        region = df['region'].iloc[i].split('-')[1]
        df1.iloc[i] = region.strip('(').strip(')')
    return pd.get_dummies(df1)
    
def getSchool(df):
    df1 = df['school'].copy()
    for i in range(len(df)):
        df1.iloc[i] = 1 if df['region'].iloc[i] == \
        df['region'].iloc[i] else 0
    return df1

def cleanFloor(df):
    for i in range(len(df)):
        if '共' not in df['floor'].loc[i]:
            df = df.drop([i])
    df = df.reset_index(drop=True)
    return df

def cleanSizeType(df):
    for i in range(len(df)):
        if '室' not in df['sizeType'].loc[i]:
            df = df.drop([i])
    df = df.reset_index(drop=True)
    return df

def cleanCommunity(df):
    df = df[df['community'] == df['community']]
    df = df.reset_index(drop=True)
    return df

if __name__ == "__main__":
    startTime = time.time()
    df = pd.read_excel("廈門房價數據(房天下版).xlsx")
    df = cleanCommunity(df)
    df = cleanFloor(df)
    df = cleanSizeType(df)
    #下面幾個字段是列數較少的字段
    unitPrice = getUnitPrice(df)
    sizeType = getSizeType(df)
    elevator = getElevator(df)
    community = getCommunity(df)
    school = getSchool(df)
    #下面的字段是通過get_dummies方法產生的9-1矩陣,列數較多
    orientaion = getOrientation(df)
    height = getHeight(df)
    size = getSize(df)
    decoration = getDecoration(df)
    district = getDistrict(df)
    region = getRegion(df)

    df_new = pd.concat([unitPrice,sizeType,elevator,community,school,\
                        orientaion,height,size,decoration,district,region],\
            axis=1)

    df_new.to_excel("數據處理結果.xlsx",columns = df_new.iloc[0].keys())
    print("數據處理共花費%.2f秒" %(time.time()-startTime))    
數據處理結果圖示.png
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容