- 缺失值處理 pandas中的fillna()方法 必要時設置索引 填充時會自動根據索引填充
- 數據透視表 pandas中的pivot_table函數
describe函數查看的是 數值變量的 統計信息，并未包括 分類變量數據的信息
如果需要擦汗分類別量的數據，需要使用include參數
titanic_df.describe()#只顯示數據類的統計
titanic_df[["Survived","Age", "SibSp", "Parch"]].describe()#只看部分數據的統計量 前面實際上篩選出了想觀察的數據
titanic_df.describe(include=[np.object])#使用include參數 查看分類變量的統計信息
#分類變量的統計信息，
#count 表示非缺失值的個數
#unique 非重復值的個數
#top 最高頻值
# 最高頻值出現的的次數
缺失值處理
- 真實數據往往會存在缺失值
- 超過百分之六七十的缺失值 我們可以考慮直接丟掉這個變量 --刪除某列數據
- 重要的數據 缺失百分之二三十，我們可以考慮用中位數或者平均值填補 --填補缺失值
- 我們一般不提倡去掉帶缺失值的行，因為非缺失值的變量可能提供有用的信息 --刪除帶缺失值的行
- 使用info函數 查看數據總量 以及各個變量非空值的個數，以及變量的類型。大致了解缺失值情況
titanic_df.info() - 在處理某一列之前，可以先查看該列的統計值 以便處理前后做個比較
titanic_df.Age.describe() - 使用中位數填補年齡數據中的缺失值
- 計算中位數
age_median = titanic_df.Age.median() - 使用fillna填充缺失值 inplace=True表示在原數據上直接修改 要對那一列填充na就點到那一列
titanic_df.Age.fillna(age_median2, inplace=True) - 再查看下統計值
titanic_df.Age.describe()
實際情況中，如果考慮更多的分類因素，會更接近真實數據。比如 考慮性別因素
因為填充時要依據性別因素填充，因此 需要將這個性別這個屬性作為索引
- 計算中位數
分別計算男女年齡的中位數
age_median2 = titanic_df.groupby('Sex').Age.median()
上面這行命令，依據sex分組，分組計算了年齡的中位數。得到的結果是個Series序列，索引是sex，值是不同性別的中位數。
在對源數據填充的時候，也要給源數據一個相同的索引，所以需要對源數據設置索引
titanic_df.set_index('Sex',inplace=True)
使用fillna填充數據時，會根據索引進行填充
titanic_df.Age.fillna(age_meida2,inplace=True)
填充過之后，要恢復成原來的樣子，就要重置索引
titanic_df.reset_index(inplace=True)
查看下使用這種填充后統計量
titanic_df.Age.describe()
索引也可以是多重的，使用多重索引填充時，要保證索引的一致性。
比如分別計算不同艙位男女年齡的中位數
age_median3 = titanic_df.groupby(['Pclass', 'Sex']).Age.median()
計算的結果其實只有一個標量 那就是 age的中位數
而分類依據是作為索引出現的。age_median3是個series數據
因此在填充時，源數據的 這兩個分類屬性也要作為索引
重設索引時 記得使用inplace參數 保證數據在原數據上修改
# 設置索引
titanic_df.set_index(['Pclass','Sex'], inplace=True)
# 填充數據
titanic_df.Age.fillna(age_median3, inplace=True)
# 重置索引
titanic_df.reset_index(inplace=True)
數據透視表df.pivot_table()
數據透視表是就是 在整個數據中 找到需要的數據 然后對數據 做一層運算
因此有三個關鍵參數 value 要操作的數據 index 把那個分類屬性作為索引(分組) aggfunc應用的計算
titanic_df.pivot_table(values='Survived', index='Pclass', aggfunc=np.mean)
# 可以根據多個篩選條件對多個數據實行多個運算
titanic_df.pivot_table(values=['Survived','Age'], index=['Pclass','Sex'], aggfunc=[np.mean,np.max])
pivot_table還有一個參數叫做columns 也是個分類變量，跟index一樣，不同的是會影響結果的顯示。
只不過我們將它列在列里而不是行里，這也是為什么這個變量稱為columns
連續變量離散化
- 連續變量離散化是建模的一種常用方法
- 離散化指的是 將某個變量所在的區間 分隔成幾個小區間 落在同一個區間的觀察值用同一個符號表示
- 以年齡為例，最小值是0.42（嬰兒），最大值是80，如果我們想產生一個五個級（levels），我們可使用cut或者qcut函數
- cut函數將年齡的區間平均分隔為5份，qcut是讓每個區間的觀察值個數一樣(5等分)
# 我們使用cut函數
# 我們可以看到每個區間的大小是固定的，大約是16歲
# 這個函數的第一個參數是 對誰切割，第二個參數是切割幾份
titanic_df['AgeBand'] = pd.cut(titanic_df['Age'], 5)
value_counts函數的結果默認是排了序的，可以使用sort參數修改是否對結果排序
titanic_df.AgeBand.value_counts(sort=False)
# 同時繪制不同年齡組的生還概率圖
# 參數row='AgeBand'表示將不同的年齡區間的圖按行排列
# 參數aspect設置畫布的長寬比
# 參數palette（調色板）設置hue分組的顏色
sns.FacetGrid(data = titanic_df, row='AgeBand', aspect=1.5) \
.map(sns.pointplot, 'Pclass', 'Survived', 'Sex', hue_order=['male', 'female'], palette='deep', ci=None)
#palette 配色參考 https://seaborn.pydata.org/tutorial/color_palettes.html?highlight=palette
