本文是對pandas官方網站上《10 Minutes to pandas》的一個簡單的翻譯,原文在這里。這篇文章是對pandas的一個簡單的介紹,詳細的介紹請參考:Cookbook。習慣上,我們會按下面格式引入所需要的包:
一、創建對象
可以通過Data Structure Intro Setion來查看有關該節內容的詳細信息。
1、可以通過傳遞一個list對象來創建一個Series,pandas會默認創建整型索引:
2、通過傳遞一個numpy array,時間索引以及列標簽來創建一個DataFrame:
3、通過傳遞一個能夠被轉換成類似序列結構的字典對象來創建一個DataFrame:
4、查看不同列的數據類型:
5、如果你使用的是IPython,使用Tab自動補全功能會自動識別所有的屬性以及自定義的列,下圖中是所有能夠被自動識別的屬性的一個子集:
二、查看數據
詳情請參閱:Basics Section
1、查看frame中頭部和尾部的行:
2、顯示索引、列和底層的numpy數據:
3、describe()函數對于數據的快速統計匯總:
4、對數據的轉置:
5、按軸進行排序
6、按值進行排序
三、選擇
雖然標準的Python/Numpy的選擇和設置表達式都能夠直接派上用場,但是作為工程使用的代碼,我們推薦使用經過優化的pandas數據訪問方式:.at,.iat,.loc,.iloc和.ix詳情請參閱Indexing and Selecing Data和MultiIndex / Advanced Indexing。
l獲取
1、選擇一個單獨的列,這將會返回一個Series,等同于df.A:
2、通過[]進行選擇,這將會對行進行切片
l通過標簽選擇
1、使用標簽來獲取一個交叉的區域
2、通過標簽來在多個軸上進行選擇
3、標簽切片
4、對于返回的對象進行維度縮減
5、獲取一個標量
6、快速訪問一個標量(與上一個方法等價)
l通過位置選擇
1、通過傳遞數值進行位置選擇(選擇的是行)
2、通過數值進行切片,與numpy/python中的情況類似
3、通過指定一個位置的列表,與numpy/python中的情況類似
4、對行進行切片
5、對列進行切片
6、獲取特定的值
l布爾索引
1、使用一個單獨列的值來選擇數據:
2、使用where操作來選擇數據:
3、使用isin()方法來過濾:
l設置
1、設置一個新的列:
2、通過標簽設置新的值:
3、通過位置設置新的值:
4、通過一個numpy數組設置一組新值:
上述操作結果如下:
5、通過where操作來設置新的值:
四、缺失值處理
在pandas中,使用np.nan來代替缺失值,這些值將默認不會包含在計算中,詳情請參閱:Missing Data Section。
1、reindex()方法可以對指定軸上的索引進行改變/增加/刪除操作,這將返回原始數據的一個拷貝:、
2、去掉包含缺失值的行:
3、對缺失值進行填充:
4、對數據進行布爾填充:
五、相關操作
詳情請參與Basic Section On Binary Ops
l統計(相關操作通常情況下不包括缺失值)
1、執行描述性統計:
2、在其他軸上進行相同的操作:
3、對于擁有不同維度,需要對齊的對象進行操作。Pandas會自動的沿著指定的維度進行廣播:
lApply
1、對數據應用函數:
l直方圖
具體請參照:Histogramming and Discretization
l字符串方法
Series對象在其str屬性中配備了一組字符串處理方法,可以很容易的應用到數組中的每個元素,如下段代碼所示。更多詳情請參考:Vectorized String Methods.
六、合并
Pandas提供了大量的方法能夠輕松的對Series,DataFrame和Panel對象進行各種符合各種邏輯關系的合并操作。具體請參閱:Merging section
lConcat
lJoin類似于SQL類型的合并,具體請參閱:Database style joining
lAppend將一行連接到一個DataFrame上,具體請參閱Appending:
七、分組
對于”group by”操作,我們通常是指以下一個或多個操作步驟:
l(Splitting)按照一些規則將數據分為不同的組;
l(Applying)對于每組數據分別執行一個函數;
l(Combining)將結果組合到一個數據結構中;
詳情請參閱:Grouping section
1、分組并對每個分組執行sum函數:
2、通過多個列進行分組形成一個層次索引,然后執行函數:
八、Reshaping
詳情請參閱Hierarchical Indexing和Reshaping。
lStack
l數據透視表,詳情請參閱:Pivot Tables.
可以從這個數據中輕松的生成數據透視表:
九、時間序列
Pandas在對頻率轉換進行重新采樣時擁有簡單、強大且高效的功能(如將按秒采樣的數據轉換為按5分鐘為單位進行采樣的數據)。這種操作在金融領域非常常見。具體參考:Time Series section。
1、時區表示:
2、時區轉換:
3、時間跨度轉換:
4、時期和時間戳之間的轉換使得可以使用一些方便的算術函數。
十、Categorical
從0.15版本開始,pandas可以在DataFrame中支持Categorical類型的數據,詳細介紹參看:categorical introduction和API documentation。
1、將原始的grade轉換為Categorical數據類型:
2、將Categorical類型數據重命名為更有意義的名稱:
3、對類別進行重新排序,增加缺失的類別:
4、排序是按照Categorical的順序進行的而不是按照字典順序進行:
5、對Categorical列進行排序時存在空的類別:
十一、畫圖
具體文檔參看:Plottingdocs
對于DataFrame來說,plot是一種將所有列及其標簽進行繪制的簡便方法:
十二、導入和保存數據
lCSV,參考:Writing to a csv file
1、寫入csv文件:
2、從csv文件中讀取:
lHDF5,參考:HDFStores
1、寫入HDF5存儲:
2、從HDF5存儲中讀取:
lExcel,參考:MS Excel
1、寫入excel文件:
2、從excel文件中讀取: