2021-06-14

今天主要任務是:(1)數據加載及初步觀察;(2)pandas基礎;(3)探索性數據分析


(1)數據加載及初步觀察


import numpy as np

import pandas as pd

import os

os.getcwd()

data= pd.read_csv('train.csv')

pd.read_csv()和pd.read_table()區別是兩著行與行之間的分隔符不一樣 在read_csv()中,定界符為,,在read_table()中,定界符為\ t。

更換DATaFrame的列索引和和行索引
data.columns=names

data=data.set_index('乘客ID')# 開始用該段代碼data.index=data['乘客ID'],存在問題是ID作為行索引,但ID還在數據中

查看數據的基本情況

data.info()

data.describe()

data.head()#讀前5行,data.head(n=10)

data.tail()#讀最后5行,data.tail(n=10)

data.isnull().sum()#查看所有列中無效值

Pandas的兩種數據類型,Series和DataFrame

Series是一維數組,有列索引

DataFrame多維數組,對應多個索引

data['Cabin'].value_counts()# 這個函數很有用,表示該列中不同類別的個數

Pandas操作

del test_1['a']

test_1.drop(['a',‘b’],axis=1)#敲代碼是把axis=1沒有輸入,代碼有問題

data.drop(['PassengerId','Name','Age','Ticket'],axis=1).head()#data本身沒有變化,只是顯示中沒有上述幾項

midage= data[(data['Age']>10) & (data['Age']<50)]# 兩個條件有小括號

midage.loc[[100],['Pclass','Sex']]#midage = midage.reset_index(drop=True)如果不進行重定位,取出來的值是錯誤的

midage.loc[[100,105,108],['Pclass','Name','Sex']]

midage.iloc[[100,105,108],[2,3,4]]#loc 和iloc 區別

frame.sort_values(by=['a','c'],ascending=False)#對兩列進行排序的原理還沒有弄清?

對分別看看泰坦尼克號數據集中 票價、父母子女 這列數據的基本統計數據


text[年齡'].describe()# 可以顯示某列數據的各種統計數據

count 714.000000

mean? ? ? 29.699118

std? ? ? 14.526497

min? ? ? ? 0.420000

25%? ? ? 20.125000

50%? ? ? 28.000000

75%? ? ? 38.000000

max? ? ? 80.000000

Name: 年齡, dtype: float64

總的心得:(1)必須對所處理的數據進行較為詳細的分析,今天的任務只給了一個簡單的引導,后續還應該對DATaFrame的各種函數進行熟練操作;(2)要有數據敏感性,并不是所有的數據都是對確定目標有意義的,比如在本次任務中,助教就給出了票價和生存之間可能存在強相關

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容