今天主要任務是:(1)數據加載及初步觀察;(2)pandas基礎;(3)探索性數據分析
(1)數據加載及初步觀察
import numpy as np
import pandas as pd
import os
os.getcwd()
data= pd.read_csv('train.csv')
pd.read_csv()和pd.read_table()區別是兩著行與行之間的分隔符不一樣 在read_csv()中,定界符為,,在read_table()中,定界符為\ t。
更換DATaFrame的列索引和和行索引
data.columns=names
data=data.set_index('乘客ID')# 開始用該段代碼data.index=data['乘客ID'],存在問題是ID作為行索引,但ID還在數據中
查看數據的基本情況
data.info()
data.describe()
data.head()#讀前5行,data.head(n=10)
data.tail()#讀最后5行,data.tail(n=10)
data.isnull().sum()#查看所有列中無效值
Pandas的兩種數據類型,Series和DataFrame
Series是一維數組,有列索引
DataFrame多維數組,對應多個索引
data['Cabin'].value_counts()# 這個函數很有用,表示該列中不同類別的個數
Pandas操作
del test_1['a']
test_1.drop(['a',‘b’],axis=1)#敲代碼是把axis=1沒有輸入,代碼有問題
data.drop(['PassengerId','Name','Age','Ticket'],axis=1).head()#data本身沒有變化,只是顯示中沒有上述幾項
midage= data[(data['Age']>10) & (data['Age']<50)]# 兩個條件有小括號
midage.loc[[100],['Pclass','Sex']]#midage = midage.reset_index(drop=True)如果不進行重定位,取出來的值是錯誤的
midage.loc[[100,105,108],['Pclass','Name','Sex']]
midage.iloc[[100,105,108],[2,3,4]]#loc 和iloc 區別
frame.sort_values(by=['a','c'],ascending=False)#對兩列進行排序的原理還沒有弄清?
對分別看看泰坦尼克號數據集中 票價、父母子女 這列數據的基本統計數據
text[年齡'].describe()# 可以顯示某列數據的各種統計數據
count 714.000000
mean? ? ? 29.699118
std? ? ? 14.526497
min? ? ? ? 0.420000
25%? ? ? 20.125000
50%? ? ? 28.000000
75%? ? ? 38.000000
max? ? ? 80.000000
Name: 年齡, dtype: float64
總的心得:(1)必須對所處理的數據進行較為詳細的分析,今天的任務只給了一個簡單的引導,后續還應該對DATaFrame的各種函數進行熟練操作;(2)要有數據敏感性,并不是所有的數據都是對確定目標有意義的,比如在本次任務中,助教就給出了票價和生存之間可能存在強相關