第八課：案例分析 - 泰坦尼克數據
本節課將重點分析泰坦尼克號沉船事故，我們將探索是什么因素決定了最后是否生還。
我們將將前面課程所學過的知識點融會貫通，舉一反三
新增知識點：
? ? ? ?缺失值處理：pandas中的fillna()方法
? ? ? ?數據透視表：pandas中的pivot_table函數
數據分析的流程
問題：數據分析的核心是問題，提出一個有價值的問題就像瞄準了正確的靶心，才能使后續的動作變得有意義。
數據采集：有了問題之后就要收集原始的數據。但是數據來源豐富多樣，格式不盡相同，所以需要進行下一步——
數據清洗：清洗這些格式多樣的數據，糾正其中可能的錯誤。這個步驟比較繁雜，占整個過程的工作量比例較大，卻是整個分析流程必不可少的環節。
數據探索：這時候一般會用到統計和可視化的方法進行分析，對數據有全面的認識，為后續的進一步分析做鋪墊。
建模分析：這一步經常用到機器學習／數據挖掘的算法（此課不做介紹）。
交流結果：通過報告或者可視化圖表的形式，展示結論，并與他人和交流。
決策：通過交流進行決策。
整個數據分析的流程就是從問題到決策的過程。但是真實的情況往往不會那么順利。比如在數據采集／清洗和探索的過程中，就會進行來回倒騰。就像在探索的時候發現數據支撐不夠，要到前面一個步驟進行更多的采集和清洗。又像有時候我們只有數據沒有具體的問題，通過采集／清洗和探索這些步驟之后，對數據有了更深的認識，這時可以進一步提出更有意義的問題了。
我們第八課的課程里面，也會用這樣一個流程，對數據進行處理。
我們今天的問題是：哪些問題會影響最后的生還概率。
泰坦尼克號背景介紹
泰坦尼克號是一艘奧林匹克級郵輪，于1912年4月首航時撞上冰山后沉沒。泰坦尼克號由位于北愛爾蘭貝爾法斯特的哈蘭·沃爾夫船廠興建，是當時最大的客運輪船，由于其規模相當一艘現代航空母艦，因而號稱“上帝也沉沒不了的巨型郵輪”。在泰坦尼克號的首航中，從英國南安普敦出發，途經法國瑟堡-奧克特維爾以及愛爾蘭昆士敦，計劃橫渡大西洋前往美國紐約市。但因為人為錯誤，于1912年4月14日船上時間夜里11點40分撞上冰山；2小時40分鐘后，即4月15日凌晨02點20分，船裂成兩半后沉入大西洋，死亡人數超越1500人，堪稱20世紀最大的海難事件，同時也是最廣為人知的海難之一。
整份數據分為數值變量和分類變量，這邊著重分一下，因為它們在后面的使用也是不一樣的。因為我們今天案例主題是 什么因素會影響生還，所以這份數據里面“survival” 這一列的數據是需要重點分析的，然后會對分類變量 “Pclass” 艙位和 “Sex” 性別，還有數值變量 “Age” 年齡，對生還情況的影響。
在里面可以看到很多NaN的顯示，表示此處是缺失值。第二部分我們將著重來看，怎么來處理這些缺失值。
1、數據導入和觀察
然后導入這次課程的數據，csv格式的文件。用 Pandas 的 csv 的讀取方式來讀取，賦值于 titanic_df 這個數據數據變量中。我在前面的文章也不止講了3遍怎么導入數據了，討論區的答疑整理幾乎每一次都有人問數據導入的問題，所以到今天要是還不會導入數據的，可以翻我前面的文章。
數據字段說明：
PassengerId: 乘客的id
Survival: 是否幸存 0 = No, 1 = Yes
Pclass: 艙位 class 1 = 1st, 2 = 2nd, 3 = 3rd
Name: 姓名
Sex: 性別
Age: 年齡
SibSp: 船上兄弟姐妹以及配偶的個數
Parch: 船上父母以及者子女的個數
Ticket: 船票號碼
Fare: 票價
Cabin: 船艙號碼
Embarked: 登船碼頭 C = Cherbourg, Q = Queenstown, S = Southampton
變量類型
數值變量：Age, SibSp, Parch, 和Fare。
分類變量：Pcalss, Sex, Cabin, 和Embarked。Survived是結果。
下面我們 describe 函數來觀察數值變量和分類變量。
數據的統計描述
數值變量
用方括號的形式，這四個參數重新組建一個 DataFrame，用describe 進行觀察。運行得到四列數據的統計值。
count表示的是非空的數值個數。因為一行數據統計出來的結果都是891，只有 Age 是714，所以我們從這份數據可以觀察到，Age這列數據是有缺失值的。下面的是一些統計量，mean 代表平均值，std 是標準差，也就是數據相對于均值的波動情況。min 是最小值，max 是最大值，25%／50%／75% 分別是這份數據的四分位數。
通過這份 describe 函數，我們可以對整份數據有大體的認識。比如從年齡那一列看，平均年齡是29.6歲，標準差是14.5，最小的年齡是0.42，最大的80歲，年齡的中位數是28歲。因為 Survived 是0-1變量，所以均值就是幸存人數的百分比，這個用法非常有用，也就是 Survivied 這列數據，由于生還與否是用 0 和 1 來進行表達，所以這里的0.38代表的是生還率。這個看起來很好用啊！
同樣的，我們可以用describe來看分類變量的數據。但是要是直接使用，這里顯示的也只能是數據，所以用到了 include=[ np.object ] 這個參數，表示把數據里面不是數值的可以用字符串的形式表達出來。
count?表示非空數值的個數。unique?表示非重復數的個數，比如 name在這里的非重復數是891，那么和上面的非空數值對比，就知道是沒有重名的人在里面。top?表示最高頻的一個詞，在性別 sex 中表示的是男性比女性多。freq 代表的是上面面最高頻的數量，這里告訴我們男性出現次數最多，有577次。所以我們在這個表格可以看到，添加了 include=[ np.object ] 這個參數之后，用 describe 函數不僅能表示數值類的函數，也能表達字符類的函數。
不同艙位的分布情況是怎樣的呢？
我們通過這個例子來復習 value_counts 和 group_by
取到艙位這一批數據，然后用到 value_counts( )，因為它默認是從小到大排列的，所以可以看到三等艙的人最多。
為了求到相應的占比，我們可以除以相應的總量，用 len（ ）函數，然后可以看到三等艙的人數占了55%。
這是用 value_counts 使用的第一種方法，下面還有另一種方法：group_by。
將數據按艙位來分組，分組之后在計算每一組數據的大小。這里用列名 Pclass，代表此處是用艙名來分類的，然后使用聚合函數agg，用的是 size ，是用來計算分組之后的數據大小的。同樣我們可以得到每一個艙位的人數。
同樣需要得到相應的占比，也是除以 len( tatanic_df )
要是想要讓數據從大到小進行排序，我們用的是 sort_values 這個方法進行操作:
注意哦，這里是先把前面的內容用圓括號擴起來，代表這里的優先級更高，然后再使用 sort_values。后面需要設置參數 =False，因為此處是默認從小到大排列的。
所以這兩種方法使用下來，能看出方法1是簡單一點的，有默認排序功能，方法2還需要語句來設定。啊，我這種懶人！
作業8-1：
查看Embarked(登船碼頭)人數分布的百分比
第八課的這篇文章我碼到現在，都是在用以前的知識點來進行操作的。下一篇文章將會有新的知識點 “ 缺失值處理：pandas中的fillna()方法 ” 和 “ 數據透視表：pandas中的pivot_table函數 ”
老師在GitHub 預告的，我這兩天繼續更新！！
