1.pandas排序
-
按標簽排序
使用sort_index方法實現按標簽排序
unsorted_df = pd.DataFrame(np.random.randn(10,2),index=[1,4,6,2,3,5,9,8,0,7],columns = ['col2','col1'])
sorted_df = unsorted_df.sort_index()
print(sorted_df) #得到一個新的df，按標簽index排列
sort_index方法默認升序排序，可以傳遞參數ascending=False實現標簽降序排序，默認ascending=True
此外，sort_index方法默認按行標簽排序，可以傳遞參數axis=1實現列名排序，默認axis=0
-
按值排序
使用sort_values實現按值排序，它接收一個by參數，通過by參數連接的列名進行值排序
unsorted_df = pd.DataFrame({'col1':[2,1,1,1],'col2':[1,3,2,4]})
sorted_df = unsorted_df.sort_values(by='col1') #按col列的值排序
print (sorted_df)
如果要實現多個列排序，可以在by參數里傳入數組：by=['col1','col2']，即先按col1列的值排序，col1列相同的值再按col2列排序
此外，sort_values提供了mergesort、heapsort、quicksort三種排序算法，mergesort是唯一穩定的算法，通過kind參數指定。
2.pandas字符串操作
pandas使用python提供的字符串操作函數，因此可以先將Series轉換為str，再使用python的字符串操作函數，包括如下：
s = pd.Series(['Tom', 'William Rick', 'John', 'Alber@t', np.nan, '1234','SteveMinsu'])
print (s.str.lower())
print(s.str.startswith('T'))
print(s.str.isnumeric())
3.pandas統計函數和窗口函數和聚合函數
3.1pandas統計函數
pct_change函數用于計算后一個元素與前一個元素的變化百分比，默認參數axis=0是按列值計算，可以通過傳遞參數axis=1計算行值的變化百分比，而且只支持數字元素，不支持字符串。
s = pd.Series([1,2,3,4,5,4])
print (s.pct_change())
df = pd.DataFrame(np.random.randn(5, 2))
print (df.pct_change())
cov協方差函數用于計算兩個序列的協方差，若用于DataFrame，則計算所有列之間的協方差。
s1 = pd.Series(np.random.randn(10))
s2 = pd.Series(np.random.randn(10))
print (s1.cov(s2)) #計算兩個序列的協方差
frame = pd.DataFrame(np.random.randn(10, 5), columns=['a', 'b', 'c', 'd', 'e'])
print (frame['a'].cov(frame['b'])) #計算列a和列b的協方差
print (frame.cov()) #計算frame中所有序列兩兩之間的協方差
corr相關性函數用于計算兩個序列的線性關系，和cov類似，若用于DataFrame，則計算所有列之間的線性關系
s1 = pd.Series(np.random.randn(10))
s2 = pd.Series(np.random.randn(10))
print (s1.corr(s2)) #計算兩個序列的相關性
frame = pd.DataFrame(np.random.randn(10, 5), columns=['a', 'b', 'c', 'd', 'e'])
print (frame['a'].corr(frame['b'])) #計算列a和列b的相關性
print (frame.corr()) #計算frame中所有序列兩兩之間的相關性
3.2pandas窗口函數
rolling函數可以應用于一系列數據，指定window=n參數并在其上應用適當的統計函數。
df = pd.DataFrame(np.random.randn(10, 4),
index = pd.date_range('1/1/2020', periods=10),
columns = ['A', 'B', 'C', 'D'])
print (df.rolling(window=3).mean())#表示當前元素和前兩個元素的平均值，所以前兩行沒有平均值，為NaN
同樣，expanding函數應用與一序列數據，指定min_periods = n參數并在其上應用適當的統計函數。
df = pd.DataFrame(np.random.randn(10, 4),
index = pd.date_range('1/1/2018', periods=10),
columns = ['A', 'B', 'C', 'D'])
print (df.expanding(min_periods=3).mean()) #和rolling函數效果一樣
3.3pandas聚合函數
聚合函數可以運用于整個DataFrame上，也可以僅用于DataFrame某個列或某幾個列，而且可以聚合多個函數，而且可以不同的列聚合不同的函數
df = pd.DataFrame(np.random.randn(10, 4),
index = pd.date_range('1/1/2000', periods=10),
columns = ['A', 'B', 'C', 'D'])
r = df.rolling(window=3,min_periods=1)
print r.aggregate(np.sum) #整個DataFrame，一個聚合函數
print (r[['A','B']].aggregate(np.sum))#多個列，一個聚合函數
print (r['A'].aggregate([np.sum,np.mean]))#單個列，多個聚合函數
print (r.aggregate({'A' : np.sum,'B' : np.mean}))#不同的聚合函數對應于不同的列
4.pandas缺失數據處理（NaN）
pandas提供isnull和notnull函數檢測值是否缺失。
df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f',
'h'],columns=['one', 'two', 'three'])
df = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print (df['one'].isnull()) #檢測列one是否為Nan值
print (df['one'].notnull()) #檢測列one是否不為Nan值
fillna函數提供幾種方法用非空值填充NaN值
df = pd.DataFrame(np.random.randn(3, 3), index=['a', 'c', 'e'],columns=['one',
'two', 'three'])
df = df.reindex(['a', 'b', 'c'])
print (df.fillna(0)) #用0替換NaN值
類似于reindex_like中的method參數，fiilna提供method參數來控制向前或向后填充：pad/fill為向前填充，bfill/backfill為向后填充
df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f',
'h'],columns=['one', 'two', 'three'])
df = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print (df.fillna(method='pad')) #向前填充
print (df.fillna(method='backfill')) #向后填充
dropna函數用于刪除有NaN值的行或列，默認參數axis=0為刪除行，可以通過傳遞參數axis=1刪除有NaN值的列
df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f',
'h'],columns=['one', 'two', 'three'])
df = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print (df.dropna())
print (df.dropna(axis=1))
replace方法用于替換序列或DataFrame中元素的值
s = pd.Series(np.arange(10))
print(s.replace({0:9,1:8})) #序列中的元素替換
df = pd.DataFrame({'one':[10,20,30,40,50,2000],'two':[1000,0,30,40,50,60]})
print (df.replace({1000:10,2000:60}))#DataFrame中的元素替換
5.pandas分組
pandas有多種方法來拆分對象:
df.groupby(key1)
df.groupby([key1, key2])
df.groupby(key1,axis=1)
上述方法都會生成一個group分組對象，要想查看分組內容，可以再調用groups函數：
df.groupby(key1).groups #將返回每個分組所包含的內容，可能包含多行或者一行
也可以直接用for循環遍歷group對象
另外，用get_group方法可以選擇一個分組，比如
df.groupby('year').get_group(2014) #記錄按年分組，并選擇2014年的分組
在分組對象做聚合操作，比如
df.groupby('year')['points'].agg(np.mean)
df.groupby('year')['points'].agg([np.mean, np.sum, np.std]) #一次聚合多個函數
用filter方法對分組對象過濾，比如
df.groupby('Team').filter(lambda x: len(x) >= 3)
6.pandas連接和合并
pandas連接和合并與SQL類似，分為left right outer inner連接，默認為inner連接。通過merge方法實現：
pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None,
left_index=False, right_index=False, sort=True)
參數說明：
how參數的取值說明：
| 連接方式 | 說明 |
|---|---|
| left | 使用左側對象的鍵 |
| right | 使用右側對象的鍵 |
| outer | 使用鍵的并集 |
| inner | 使用鍵的交集 |
import pandas as pd
left = pd.DataFrame({
'id':[2,3,4,5,6],
'Name': ['Alex', 'Amy', 'Allen', 'Alice', 'Ayoung'],
'subject_id':['sub1','sub2','sub4','sub6','sub5']})
right = pd.DataFrame(
{'id':[1,2,4,5,7],
'Name': ['Billy', 'Brian', 'Bran', 'Bryce', 'Betty'],
'class_id':['class2','class4','class3','class6','class5']})
print(pd.merge(left, right, on='id')) #inner連接
print(pd.merge(left, right, on='id', how='left')) #left連接
print(pd.merge(left, right, on='id', how='right')) #right連接
print(pd.merge(left, right, on='id', how='outer')) #outer連接
7.稀疏數據
當數據中存在大量Nan值時，可以采用to_sparse方法稀疏數據，以提高內存效率，同樣可以采用to_dense方法將稀疏對象轉換為標準密集模式。
ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print (sts.to_dense())
